使用HugePages优化内存性能(一)

2015-03-18 22:56:39 · 作者: · 浏览: 243

版权声明:转载时请以超链接形式标明文章原始出处和作者信息及本声明
http://blog.csdn.net/wenshuangzhu/article/details/44095565


系统进程是通过虚拟地址访问内存,但是CPU必须把它转换程物理内存地址才能真正访问内存。为了提高这个转换效率,CPU会缓存最近的虚拟内存地址和物理内存地址的映射关系,并保存在一个由CPU维护的映射表中。为了尽量提高内存的访问速度,需要在映射表中保存尽量多的映射关系。


而在Linux中,内存都是以页的形式划分的,默认情况下每页是4K,这就意味着如果物理内存很大,则映射表的条目将会非常多,会影响CPU的检索效率。因为内存大小是固定的,为了减少映射表的条目,可采取的办法只有增加页的尺寸。?


HugePages是在Linux2.6内核被引入的,主要提供4k的page和比较大的page的选择。?


?


HugePages是Linux内核的一个特性,使用hugepage可以用更大的内存页来取代传统的4K页面。使用HugePage主要带来以下好处:


1. HugePages 会在系统启动时,直接分配并保留对应大小的内存区域。


2. HugePages 在开机之后,如果没有管理员的介入,是不会释放和改变的。


3. 没有swap。


Notswappable: HugePages are not swappable. Therefore thereis no page-in/page-outmechanism overhead.HugePages are universally regarded aspinned.


4. 大大提高了CPU cache中存放的page table所覆盖的内存大小,从而提高了TLB命中率。


进程的虚拟内存地址段先连接到page table然后再连接到物理内存。所以在访问内存时需要先访问page tables得到虚拟内存和物理内存的映射关系,然后再访问物理内存。


CPU cache中有一部分TLB用来存放部分page table以提高这种转换的速度。因为page size变大了,所以同样大小的TLB,所覆盖的内存大小也变大了。提高了TLB命中率,也提高了地址转换的速度。


5. 减轻page table的负载。


进行XXX系统性能测试时,如果没有使用HugePages,数据库服务器上的pagetable大小大约为5G(这应该也是导致性能测试时数据库服务器内存不足的主要原因):


MemTotal:? ? ? 16323732 kB


PageTables:? ? ? 5442384kB


配置了HugePages后,pagetable大小仅为124M(性能测试时内存使用率稳定在80%左右):


node74:/home/oracle # cat /proc/meminfo


MemTotal:? ? ? 16323732 kB


PageTables:? ? ? 127384 kB


Eliminated page tablelookup overhead: 因为hugepage是不swappable的,所有就没有page table lookups。


Faster overall memory performance:? 由于虚拟内存需要两步操作才能实际对应到物理内存地址,因此更少的pages,减轻了page table访问热度,避免了page table热点瓶颈问题。


6. 提高内存的性能,降低CPU负载,原理同上


?


1. Hugepages是在分配后就会预留出来的,其大小一定要比服务器上所有实例的SGA总和要大,差一点都不行。


比如说Hugepages设置为8G,oracle SGA为9G,那么oracle在启动的时候就不会使用到这8G的Hugepages。这8G就浪费了。所以在设置Hugepages时要计算SGA的大小,后面会给出一个脚本来计算。


2. 其他进程无法使用Hugepages的内存,所以不要设置太大,稍稍比SGA大一点保证SGA可以使用到hugepages就好了。


3. 在meminfo中和Hugepage相关的有四项:


HugePages_Total:? ?4611


HugePages_Free:? ? ?474


HugePages_Rsvd:? ? ?467


Hugepagesize:? ? ? 2048 kB


HugePages_Total为所分配的页面数目,和Hugepagesize相乘后得到所分配的内存大小。4611*2/1024大约为9GB


HugePages_Free为从来没有被使用过的Hugepages数目。即使oraclesga已经分配了这部分内存,但是如果没有实际写入,那么看到的还是Free的。这是很容易误解的地方。


HugePages_Rsvd为已经被分配预留但是还没有使用的page数目。在Oracle刚刚启动时,大部分内存应该都是Reserved并且Free的,随着oracle SGA的使用,Reserved和Free都会不断的降低。


HugePages_Free-HugePages_Rsvd 这部分是没有被使用到的内存,如果没有其他的oracle instance,这部分内存也许永远都不会被使用到,也就是被浪费了。


4. HugePages和oracle AMM(自动内存管理)是互斥的,所以使用HugePages必须设置内存参数MEMORY_TARGET / MEMORY_MAX_TARGET 为0。


?


?


修改内核参数memlock,单位是KB,如果内存是16G,memlock的大小要稍微小于物理内存。计划lock 12GB的内存大小。参数设置为大于SGA是没有坏处的。


以root用户登录两台数据库服务器,编辑limits.conf文件:


node74:~ # vi /etc/security/limits.conf


增加以下两行内容:


*? soft? memlock? ? 12582912


*? hard? memlock? ? 12582912


?


重新登录root和oracle用户,检查memlocklimit


node74:~ # ulimit -l


12582912


oracle@node74:~> ulimit -l


12582912


?


如果使用11G及以后的版本,AMM已经默认开启,但是AMM与Hugepages是不兼容的,必须先disable AMM。禁用AMM的步骤如下:


?


已oracle用户登录两台数据库服务器,通过sqlplus关闭2个数据库实例。


oracle@node74:~> sqlplus / as sysdba


SQL> shutdown immediate


?


以oracle用户登录其中一台主机,执行以下命令创建pfile:


oracle@node74:~> sqlplus / as sysdba


SQL> create pfile='/home/oracle/pfile.ora' fromspfile=’+DG_ORA/orcl/spfileorcl.ora’;


?


编辑pfile,删除memory_max_target和memory_target参数:


oracle@node74:~> vi /home/oracle/pfile.ora


删除下面几行:


orcl1.memory_max_target=11114905600


orcl2.memory_max_target=11114905600


*.memory_max_target=0


orcl1.memory_target=111