实时渠道能力的数据收集引擎。使用 JRuby 语言编写。其作者是世界著名的运维工程师乔丹西塞 (JordanSissel)。目前最新的版本是 5. 3。特点:
- 几乎可以访问任何数据
- 可以和多种外部应用结合
- 支持弹性扩展
Kibana 是一款基于 Apache 开源协议,使用 java script 语言编写,为 Elasticsearch 提供分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找,交互数据,并生成各种维度的表图。目前最新的版本是 5. 3。
3. 2 ELK的环境准备
1. 修改文件限制
# 修改系统文件;vi /etc/security/limits.conf
#增加的内容;* soft nofile 65536;* hard nofile 65536;* soft nproc 2048;* hard nproc 4096
2. 调整进程数
#修改系统文件;vi /etc/security/limits.d/20-nproc.conf
#调整成以下配置
soft nproc 4096;soft nproc unlimited
3. 调整虚拟内存&最大并发连接
#修改系统文件;vi /etc/sysctl.conf
#增加的内容;vm.max_map_count=655360;fs.file-max=655360
4. JDK8安装
CentO安装JDK8:https://ken.io/note/centos-java-setup
5. 创建ELK专用用户
useradd elk
6. 创建ELK相关目录并赋权
#创建ELK APP目录mkdir /usr/elk
#创建ELK 数据目录mkdir /elk
#更改目录Owner;chown -R elk:elk /usr/elk;chown -R elk:elk /elk
7. 下载ELK包并解压
https://www.elastic.co/downloads
#打开文件夹cd /home/download
#下载
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.tar.gz
wget wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-linux-x86_64.tar.gz
#解压tar -zvxf elasticsearch-6.0.0.tar.gz;tar -zvxf logstash-6.0.0.tar.gz;tar -zvxf kibana-6.0.0-linux-x86_64.tar.gz
3. 3ELK的安装
3.3.1 配置清华镜像站yum源
[root@elk ~]# ntpdate 0. centos. pool. ntp. org
[root@elk ~]# vim /etc/yum. repos. d/elk. repo
[elk]
name=elk
baseurl=https://mirrors. tuna. tsinghua. edu. cn/elasticstack/yum/elastic-6. x/
enable=1
gpgcheck=0
1.用yum 源 安装Elasticsearch Logstash Kibana
[root@elk ~]# yum install elasticsearch logstash kibana nodejs filebeat -y
2. Elasticsearch 节点配置
修改elasticsearch 节点配置文件以便服务器连通
[root@elk ~]# grep -v ^# /etc/elasticsearch/elasticsearch. yml
cluster. name: elk-stack
node. name: elk. node1
path. data: /var/lib/elasticsearch
path. logs: /var/log/elasticsearch
network. host: 0. 0. 0. 0
http. port: 9200
discovery. zen. ping. unicast. hosts: ["192. 168. 12. 148:9300"]
discovery. zen. minimum_master_nodes: 1
[root@elk ~]# systemctl start elasticsearch
[root@elk ~]# ss -ntlup| grep -E "9200|9300"
3. Kibana 配置
修改kibana 节点访问ip 地址
[root@elk ~]# egrep -v "^#|^$" /etc/kibana/kibana. yml
server. port: 5601
server. host: "0. 0. 0. 0"
elasticsearch. url: "http://192. 168. 12. 148:9200"
kibana. index: ". kibana"
4.汉化Kibana 配置
Kibnan 默认语言是英文的为方便配置故改为中文版
[root@elk ~]# yum install -y git
[root@elk ~]# git clone https://github. com/anbai-inc/Kibana_Hanization. git
[root@elk ~]# cd Kibana_Hanization
[root@elk ~]# python main. py /usr/share/kibana
[root@elk ~]# systemctl restart kibana
[root@elk ~]# ss -ntlup| grep 5601
5. Logstash 配置
[root@elk ~]# echo 'path. config: /etc/logstash/conf. d' >>/etc/logstash/logstash. yml
添加日志处理文件,以便接受osquery 系统日志文件
[root@elk ~]# vim /etc/logstash/conf. d/local_syslog. conf
input {
#filebeat客户端
beats {
port => 5044
}
}
#筛选
#filter { }
output {
# 输出到es
elasticsearch {
hosts => ["http://192. 168. 12. 148:9200"]
index => &