ElasticSearch 性能调优

• 作者: 博学谷狂野架构师

• GitHub地址：GitHub地址 （有我们精心准备的130本电子书PDF）

概述

性能优化是个涉及面非常广的问题，不同的环境，不同的业务场景可能会存在不同的优化方案，本文只对一些相关的知识点做简单的总结，具体方案可以根据场景自行尝试。

配置文件调优

通过elasticsearch.yml配置文件调优

内存锁定

允许 JVM 锁住内存，禁止操作系统交换出去

由于JVM发生swap交换会导致极大降低ES的性能，为了防止ES发生内存交换，我们可以通过锁定内存来实现，这将极大提高查询性能，但同时可能造成OOM，需要对应做好资源监控，必要的时候进行干预。

修改ES配置

修改ES的配置文件elasticsearch.yml，设置bootstrap.memory_lock为true

COPY#集群名称
cluster.name: elastic
#当前该节点的名称
node.name: node-3
#是不是有资格竞选主节点
node.master: true
#是否存储数据
node.data: true
#最大集群节点数
node.max_local_storage_nodes: 3
#给当前节点自定义属性（可以省略）
#node.attr.rack: r1
#数据存档位置
path.data: /usr/share/elasticsearch/data
#日志存放位置
path.logs: /usr/share/elasticsearch/log
#是否开启时锁定内存（默认为是）
#bootstrap.memory_lock: true
#设置网关地址，我是被这个坑死了，这个地址我原先填写了自己的实际物理IP地址，
#然后启动一直报无效的IP地址，无法注入9300端口，这里只需要填写0.0.0.0
network.host: 0.0.0.0
#设置映射端口
http.port: 9200
#内部节点之间沟通端口
transport.tcp.port: 9300
#集群发现默认值为127.0.0.1:9300,如果要在其他主机上形成包含节点的群集,如果搭建集群则需要填写
#es7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点，也就是说把所有的节点都写上
discovery.seed_hosts: ["node-1","node-2","node-3"]
#当你在搭建集群的时候，选出合格的节点集群，有些人说的太官方了，
#其实就是，让你选择比较好的几个节点，在你节点启动时，在这些节点中选一个做领导者，
#如果你不设置呢，elasticsearch就会自己选举，这里我们把三个节点都写上
cluster.initial_master_nodes: ["node-1","node-2","node-3"]
#在群集完全重新启动后阻止初始恢复，直到启动N个节点
#简单点说在集群启动后，至少复活多少个节点以上，那么这个服务才可以被使用，否则不可以被使用，
gateway.recover_after_nodes: 2
#删除索引是是否需要显示其名称，默认为显示
#action.destructive_requires_name: true
# 允许内存锁定，提高ES性能
bootstrap.memory_lock: true

修改JVM配置

修改jvm.options，通常设置-Xms和-Xmx的的值为“物理内存大小的一半和32G的较小值”

这是因为，es内核使用lucene，lucene本身是单独占用内存的，并且占用的还不少，官方建议设置es内存，大小为物理内存的一半，剩下的一半留给lucene

COPY-Xms2g
-Xmx2g

关闭操作系统的swap

临时关闭

COPYsudo swapoff -a 

永久关闭

注释掉或删除所有swap相关的内容

COPYvi /etc/fstab

修改文件描述符

修改/etc/security/limits.conf,设置memlock为unlimited

COPYelk hard memlock unlimited
elk soft memlock unlimited

修改系统配置

设置虚拟内存

修改/etc/systemd/system.conf，设置vm.max_map_count为一个较大的值

COPYvm.max_map_count=10240000

修改文件上限

修改/etc/systemd/system.conf，设置DefaultLimitNOFILE，DefaultLimitNPROC，DefaultLimitMEMLOCK为一个较大值，或者不限定

COPYDefaultLimitNOFILE=100000
DefaultLimitNPROC=100000
DefaultLimitMEMLOCK=infinity

重启ES

服务发现优化

Elasticsearch 默认被配置为使用单播发现，以防止节点无意中加入集群

组播发现应该永远不被使用在生产环境了，否则你得到的结果就是一个节点意外的加入到了你的生产环境，仅仅是因为他们收到了一个错误的组播信号，ES是一个P2P类型的分布式系统，使用gossip协议，集群的任意请求都可以发送到集群的任一节点，然后es内部会找到需要转发的节点，并且与之进行通信，在es1.x的版本，es默认是开启组播，启动es之后，可以快速将局域网内集群名称，默认端口的相同实例加入到一个大的集群，后续再es2.x之后，都调整成了单播，避免安全问题和网络风暴；

单播discovery.zen.ping.unicast.hosts，建议写入集群内所有的节点及端口，如果新实例加入集群，新实例只需要写入当前集群的实例，即可自动加入到当前集群，之后再处理原实例的配置即可，新实例加入集群，不需要重启原有实例；

节点zen相关配置：discovery.zen.ping_timeout：判断master选举过程中，发现其他node存活的超时设置，主要影响选举的耗时，参数仅在加入或者选举 master 主节点的时候才起作用discovery.zen.join_timeout：节点确定加入到集群中，向主节点发送加入请求的超时时间，默认为3sdiscovery.zen.minimum_master_nodes：参与master选举的最小节点数，当集群能够被选为master的节点数量小于最小数量时，集群将无法正常选举。

故障检测（ fault detection ）

故障检测情况

以下两种情况下回进行故障检测

COPY* 第一种是由master向集群的所有其他节点发起ping，验证节点是否处于活动状态
* 第二种是：集群每个节点向master发起ping，判断master是否存活，是否需要发起选举

配置方式

故障检测需要配置以下设置使用

• discovery.zen.fd.ping_interval ：节点被ping的频率，默认为1s。
• discovery.zen