EFK架构日志分析

elastic search 单点部署

环境准备

主机名及 IP 地址 主机名 IP 地址 elk91 10.0.0.91 elk92 10.0.0.92 elk93 10.0.0.93
硬件配置
CPU：2core +
Memory：4GB +
Disk：50GB +
系统要求：Ubuntu 22.04 LTS
网卡环境：单网卡

什么是 ElasticStack

ElasticStack 早期名称为 elk，elk 分别代表了 3 个组件：

ElasticSearch：负责数据存储和检索。
Logstash：负责数据的采集，将源数据采集到 ElasticSearch 进行存储。
Kibana：负责数据的展示。

由于 Logstash 是一个重量级产品，安装包超过 300MB +，很多同学只是用于采集日志，于是使用其他采集工具代替，比如 flume，fluentd 等产品替代。后来 elastic 公司也发现了这个问题，于是开发了一堆 beats 产品，其中典型代表就是 Filebeat，metricbeat，heartbeat 等。而后，对于安全而言，又推出了 xpack 等相关组件，以及云环境的组件。后期名称命名为 elk stack，后来公司为了宣传 ElasticStack。

二进制部署 ES 单点环境

ElasticSearch 的版本选择及下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.28-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.28-linux-x86_64.tar.gz.sha512
shasum -a 512 -c elasticsearch-7.17.28-linux-x86_64.tar.gz.sha512

svip 示例：

[root@elk91 ~]# wget http://192.168.16.253/Resources/ElasticStack/softwares/7.17.28/elasticsearch-7.17.28-linux-x86_64.tar.gz
[root@elk91 ~]# wget http://192.168.16.253/Resources/ElasticStack/softwares/7.17.28/elasticsearch-7.17.28-linux-x86_64.tar.gz.sha512
[root@elk91 ~]# shasum -a 512 -c elasticsearch-7.17.28-linux-x86_64.tar.gz.sha512
elasticsearch-7.17.28-linux-x86_64.tar.gz: OK
[root@elk91 ~]#

解压软件包

[root@elk91 ~]# tar xf elasticsearch-7.17.28-linux-x86_64.tar.gz -C /usr/local/

修改配置文件

[root@elk91 ~]# vim /usr/local/elasticsearch-7.17.28/config/elasticsearch.yml
[root@elk91 ~]#
[root@elk91 ~]# egrep -v "^#|^$" /usr/local/elasticsearch-7.17.28/config/elasticsearch.yml
cluster.name: haoshuaicong-linux
path.data: /var/lib/es7
path.logs: /var/log/es7
network.host: 0.0.0.0
discovery.type: single-node
[root@elk91 ~]#

相关参数说明：

cluster.name：集群的名称。
path.data：ES 的数据存储路径。
path.logs：ES 的日志存储路径。
network.host：ES 服务监听的地址。
discovery.type：指的 ES 集群的部署类型，此处的 “single – node”，表示的是一个单点环境。

创建用户并授权

[root@elk91 ~]# useradd -m haoshuaicong
[root@elk91 ~]# chown haoshuaicong:haoshuaicong -R /usr/local/elasticsearch-7.17.28/
[root@elk91 ~]#
[root@elk91 ~]# ll /usr/local/elasticsearch-7.17.28/jdk/bin -d
drwxr-x--- 2 haoshuaicong haoshuaicong 4096 Feb 20 17:09 /usr/local/elasticsearch-7.17.28/jdk/bin/
[root@elk91 ~]#

[root@elk91 ~]# install -d /var/{lib,log}/es7 -o haoshuaicong -g haoshuaicong
[root@elk91 ~]#
[root@elk91 ~]# ll -d /var/{lib,log}/es7
drwxr-xr-x 2 haoshuaicong haoshuaicong 4096 Mar 11 11:07 /var/lib/es7/
drwxr-xr-x 2 haoshuaicong haoshuaicong 4096 Mar 11 10:59 /var/log/es7/
[root@elk91 ~]#

启动 ElasticSearch 服务

[root@elk91 ~]# su - haoshuaicong -c '/usr/local/elasticsearch-7.17.28/bin/elasticsearch -d'
[root@elk91 ~]#
[root@elk91 ~]# ss -ntl  | egrep "9[2|3]00"
LISTEN 0      4096               *:9300            *:*
LISTEN 0      4096               *:9200            *:*
[root@elk91 ~]#

查看服务验证

[root@elk93 ~]# curl http://10.0.0.91:9200
{
  "name": "elk91",
  "cluster_name": "haoshuaicong-linux",
  "cluster_uuid": "f8m0l-IiQAG1ZHKFjQgqFA",
  "version": {
    "number": "7.17.28",
    "build_flavor": "default",
    "build_type": "tar",
    "build_hash": "139cb5a961d8de68b8e02c45cc47f5289a3623af",
    "build_date": "2025-02-20T09:05:31.349013687Z",
    "build_snapshot": false,
    "lucene_version": "8.11.3",
    "minimum_wire_compatibility_version": "6.8.0",
    "minimum_index_compatibility_version": "6.0.0-beta1"
  },
  "tagline": "You Know, for Search"
}
[root@elk93 ~]#
[root@elk93 ~]# curl http://10.0.0.91:9200/_cat/nodes
10.0.0.91 34 97 7 0.11 0.09 0.03 cdfhilmrstw * elk91
[root@elk93 ~]#

常见的报错梳理

Q1

bootstrap check failure [1] of [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
ERROR: Elasticsearch did not exit normally - check the logs at /var/log/es7/my-haoshuaicong.log

报错问题：虚拟内存映射过小导致的问题。
解决方案：

[root@elk91 config]# echo vm.max_map_count=262144 >> /etc/sysctl.d/es.conf
[root@elk91 config]#
[root@elk91 config]# sysctl -f /etc/sysctl.d/es.conf
vm.max_map_count = 262144
[root@elk91 config]#

Q2

java.net.UnknownHostException: single-node

报错问题：无法识别的主机名称，一般情况下就是配置文件写错了。
解决方案：检查 “discovery.seed_hosts” 配置文件是否指定为服务器主机名。

Q3

expected <block end>, but found '<block mapping start>'
 in 'reader', line 75, column 3:
      discovery.type: single-node
      ^

报错问题：一般情况下就是配置文件写错了。
解决方案：检查 yaml，yml 的配置文件格式。

Q4

java.lang.IllegalStateException: failed to obtain node locks, tried [[/var/lib/es7]] with lock id [0]; maybe these locations are not writable or multiple nodes were started without increasing [node.max_local_storage_nodes] (was [1])?

报错问题：出现 lock 字样说明已经有 ES 实例启动。
解决方案：

[root@elk91 config]# pkill java
[root@elk91 config]# rm -rf /var/{lib,log}/es7/* /tmp/*

Q5

{"error":{"root_cause":[{"type":"master_not_discovered_exception","reason":null}],"type":"master_not_discovered_exception","reason":null},"status":503}

报错问题：ES 集群部署有问题，缺少 master 角色。
解决方案：检查集群配置是否正确。

卸载二进制的 ES 程序

停止服务

kill `ps -ef | grep java | grep -v grep | awk '{print $2}'`

删除程序，数据，日志目录

[root@elk91 ~]# rm -rf /usr/local/elasticsearch-7.17.28/ /var/{lib,log}/es7/

移除普通用户

[root@elk91 ~]# userdel -r haoshuaicong

deb 包安装 ES 部署单点

下载软件包

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.28-amd64.deb

svip 示例：

[root@elk91 ~]# wget http://192.168.16.253/Resources/ElasticStack/softwares/7.17.28/elasticsearch-7.17.28-amd64.deb

安装 es

[root@elk91 ~]# dpkg -i elasticsearch-7.17.28-amd64.deb

添加别名

[root@elk91 ~]# tail  -1 .rc
alias yy='egrep -v "^#|^$"'
[root@elk91 ~]#
[root@elk91 ~]# source .rc
[root@elk91 ~]#

修改配置文件

[root@elk91 ~]# yy /etc/elasticsearch/elasticsearch.yml
cluster.name: haoshuaicong-linux
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.type: single-node
[root@elk91 ~]#

启动 ES 服务

[root@elk91 ~]# systemctl enable --now elasticsearch.service
[root@elk91 ~]#
[root@elk91 ~]# ss -ntl  | egrep "9[2|3]00"
LISTEN 0      4096               *:9300            *:*
LISTEN 0      4096               *:9200            *:*
[root@elk91 ~]#

访问 ES 的 WebUI

[root@elk93 ~]# curl http://10.0.0.91:9200/_cat/nodes
10.0.0.91 17 97 0 0.20 0.09 0.03 cdfhilmrstw * elk91
[root@elk93 ~]#
[root@elk93 ~]# curl http://10.0.0.91:9200/
{
  "name": "elk91",
  "cluster_name": "haoshuaicong-linux",
  "cluster_uuid": "h5Eru0tzSKmIHxgyw2q3rg",
  "version": {
    "number": "7.17.28",
    "build_flavor": "default",
    "build_type": "deb",
    "build_hash": "139cb5a961d8de68b8e02c45cc47f5289a3623af",
    "build_date": "2025-02-20T09:05:31.349013687Z",
    "build_snapshot": false,
    "lucene_version": "8.11.3",
    "minimum_wire_compatibility_version": "6.8.0",
    "minimum_index_compatibility_version": "6.0.0-beta1"
  },
  "tagline": "You Know, for Search"
}
[root@elk93 ~]#

elastic search集群部署

ES 集群常见的术语

索引（Index）：用户进行数据的读写单元。
分片（Shard）：
一个索引至少要有一个分片，如果一个索引仅有一个分片，意味着该索引的数据只能全量存储在某个节点上，且分片是不可拆分的，隶属于某个节点。换句话说，分片是 ES 集群最小的调度单元。
一个索引数据也可以被分散的存储在不同的分片上，且这些分片可以放在不同的节点，从而实现数据的分布式存储。
副本（replica）：
副本是针对分片来说的，一个分片可以有 0 个或多个副本。
当副本数量为 0 时，意味着只有主分片（priamry shard），当主分片所在的节点宕机时，数据就无法访问了。
当副本数量大于 0 时，意味着同时存在主分片和副本分片（replica shard）：
- 主分片负责数据的读写（read write，rw）。
- 副本分片负责数据的读的负载均衡（read only，ro）。
文档（document）：指的是用户存储的数据。其中包含元数据和源数据。
元数据：用于描述源数据的数据。
源数据：用户实际存储的数据。
分配（allocation）：指的是将索引的不同分片（包含主分片和副本分片）分配到整个集群的过程。

面试题

Q1：ES 端口协议及作用？

9200：
协议：http | https
作用：对外部用户提供访问。
9300：
协议：tcp
作用：对集群内部进行数据传输。相比于 9200 更加优先启动。

Q2：ES 集群的颜色状态有哪些？

green：代表所有的主分片和副本分片都可以正常访问。
red：代表有部分主分片无法访问。
yellow：代表有部分副本分片无法访问。

查看集群状态

[root@elk93 ~]# curl http://10.0.0.91:9200/_cat/health?v
epoch      timestamp cluster           status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1741676068 06:54:28  haoshuaicong-linux green           1         1      3   3    0    0        0             0                  -                100.0%
[root@elk93 ~]#

ES 集群环境部署

停止单点服务

[root@elk91 ~]# systemctl stop elasticsearch.service 
[root@elk91 ~]#

拷贝软件包

[root@elk91 ~]# scp elasticsearch-7.17.28-amd64.deb 10.0.0.92:~
[root@elk91 ~]# scp elasticsearch-7.17.28-amd64.deb 10.0.0.93:~

其他节点安装 ES 环境

[root@elk92 ~]# dpkg -i elasticsearch-7.17.28-amd64.deb 
[root@elk93 ~]# dpkg -i elasticsearch-7.17.28-amd64.deb

修改 ES 集群配置文件

[root@elk91 ~]# vim /etc/elasticsearch/elasticsearch.yml 
[root@elk91 ~]# 
[root@elk91 ~]# yy /etc/elasticsearch/elasticsearch.yml 
cluster.name: haoshuaicong-linux
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["10.0.0.91", "10.0.0.92","10.0.0.93"]
cluster.initial_master_nodes: ["10.0.0.91","10.0.0.92","10.0.0.93"]
[root@elk91 ~]# 
[root@elk91 ~]# scp /etc/elasticsearch/elasticsearch.yml 10.0.0.92:/etc/elasticsearch/
[root@elk91 ~]# scp /etc/elasticsearch/elasticsearch.yml 10.0.0.93:/etc/elasticsearch/

所有节点同时启动 ES 服务

[root@elk91 ~]# systemctl enable --now elasticsearch.service
[root@elk91 ~]# ss -ntl | egrep "9[2|3]00"
LISTEN 0      4096               *:9300            *:*          
LISTEN 0      4096               *:9200            *:*          
[root@elk91 ~]# 

[root@elk92 ~]# systemctl enable --now elasticsearch.service
[root@elk92 ~]# ss -ntl | egrep "9[2|3]00"
LISTEN 0      4096               *:9300            *:*          
LISTEN 0      4096               *:9200            *:*          
[root@elk92 ~]# 

[root@elk93 ~]# systemctl enable --now elasticsearch.service
[root@elk93 ~]# ss -ntl | egrep "9[2|3]00"
LISTEN 0      4096               *:9300            *:*          
LISTEN 0      4096               *:9200            *:*          
[root@elk93 ~]#

检查集群是否正常工作

[root@elk93 ~]# curl http://10.0.0.91:9200/_cat/nodes?v
ip        heap.percent ram.percent cpu load_1m load_5m load_15m node.role   master name
10.0.0.93           27          97   0    0.28    0.17     0.06 cdfhilmrstw -      elk93
10.0.0.91            8          97   0    0.23    0.14     0.05 cdfhilmrstw *      elk91
10.0.0.92           27          97   4    0.80    0.33     0.12 cdfhilmrstw -      elk92
[root@elk93 ~]#

快速部署校验 ES 集群解决方案

报错信息：集群缺少 master

[root@elk3 ~]# curl http://10.0.0.92:9200/_cat/nodes?v
{"error":{"root_cause":[{"type":"master_not_discovered_exception","reason":null}],"type":"master_not_discovered_exception","reason":null},"status":503}
[root@elk3 ~]# curl 10.0.0.91:9200
{
  "name" : "elk91",
  "cluster_name" : "haoshuaicong-linux",
  "cluster_uuid" : "_na_",
  ...
}
[root@elk3 ~]# 
[root@elk3 ~]# curl 10.0.0.92:9200
{
  "name" : "elk2",
  "cluster_name" : "haoshuaicong-linux",
  "cluster_uuid" : "_na_",
  ...
}
[root@elk3 ~]# 
[root@elk3 ~]# 
[root@elk3 ~]# curl 10.0.0.93:9200
{
  "name" : "elk3",
  "cluster_name" : "haoshuaicong-linux",
  "cluster_uuid" : "_na_",
  ...
}
[root@elk3 ~]#

解决方案

停止集群的 ES 服务

[root@elk91 ~]# systemctl stop elasticsearch.service 
[root@elk92 ~]# systemctl stop elasticsearch.service 
[root@elk93 ~]# systemctl stop elasticsearch.service

删除数据，日志，和临时数据

[root@elk91 ~]# rm -rf /var/{lib,log}/elasticsearch/* /tmp/*
[root@elk92 ~]# rm -rf /var/{lib,log}/elasticsearch/* /tmp/*
[root@elk93 ~]# rm -rf /var/{lib,log}/elasticsearch/* /tmp/*

检查集群各节点的配置

[root@elk91 ~]# yy /etc/elasticsearch/elasticsearch.yml 
cluster.name: haoshuaicong-linux
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["10.0.0.91", "10.0.0.92","10.0.0.93"]
cluster.initial_master_nodes: ["10.0.0.91","10.0.0.92","10.0.0.93"]
[root@elk91 ~]# 
[root@elk91 ~]# scp /etc/elasticsearch/elasticsearch.yml 10.0.0.92:/etc/elasticsearch/
[root@elk91 ~]# scp /etc/elasticsearch/elasticsearch.yml 10.0.0.93:/etc/elasticsearch/

启动 ES 服务

[root@elk91 ~]# systemctl restart elasticsearch.service 
[root@elk92 ~]# systemctl restart elasticsearch.service 
[root@elk93 ~]# systemctl restart elasticsearch.service

测试验证

[root@elk91 ~]# for i in `seq 91 93`; do curl -s 10.0.0.$i:9200 | grep cluster_uuid; done
  "cluster_uuid" : "-5ly4d8-Tl6biIMmp4pzKw",
  "cluster_uuid" : "-5ly4d8-Tl6biIMmp4pzKw",
  "cluster_uuid" : "-5ly4d8-Tl6biIMmp4pzKw",
[root@elk91 ~]# 
[root@elk91 ~]# curl 10.0.0.93:9200/_cat/nodes
10.0.0.91 11 94 4 0.43 0.36 0.29 cdfhilmrstw - elk91
10.0.0.93 11 96 2 0.47 0.43 0.28 cdfhilmrstw - elk93
10.0.0.92  5 97 3 0.32 0.44 0.33 cdfhilmrstw * elk92
[root@elk91 ~]#

部署 Kibana 创建索引查询

ES 与 MySQL 对比

MySQL：属于关系型数据库，其增删改查操作基于 SQL 语句。
ES：属于文档型数据库，和 MongoDB 很相似，增删改查使用 DSL 语句，这是 ES 独有的一种查询语言。在处理模糊查询时，MySQL 无法充分利用索引，性能较低，而 ES 查询模糊数据非常高效。

ES 的 DSL 语句初体验

往 ES 集群添加单条数据

curl --location --request POST '10.0.0.91:9200/haoshuaicong_linux/doc' \
--header 'Content-Type: application/json' \
--data-raw '{
    "name": "孙悟空",
    "hobby": [
        "蟠桃",
        "金丹",
        "紫霞"
    ]
}'

往 ES 集群添加多条数据

curl --location --request POST 'http://10.0.0.91:9200/_bulk' \
--header 'Content-Type: application/json' \
--data-raw '{ "create" : { "_index" : "haoshuaicong-linux", "_id" : "1001" } }
{ "name" : "猪八戒","hobby": ["猴哥","高老庄"] }
{ "create" : { "_index" : "haoshuaicong-linux", "_id" : "1002" } }
{ "name" : "沙和尚","hobby": ["流沙河","挑行李"] }
{ "create" : { "_index" : "haoshuaicong-linux", "_id" : "1003" } }
{ "name" : "白龙马","hobby": ["大师兄，师傅被妖怪抓走啦"] }
'

查询单条数据

curl --location --request GET '10.0.0.93:9200/haoshuaicong-linux/_doc/1003'

过滤查询数据

curl --location --request GET '10.0.0.93:9200/haoshuaicong-linux/_search' \
--header 'Content-Type: application/json' \
--data-raw '{
    "query": {
        "match": {
            "hobby": "猴哥"
        }
    }
}'

删除数据

curl --location --request DELETE '10.0.0.93:9200/haoshuaicong-linux/_doc/1003'

部署 Kibana 环境

Kibana 是针对 ES 做的一款可视化工具，web页面图形化操作，后续操作可在 Kibana 中完成。

下载 Kibana

[root@elk91 ~]# wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.28-amd64.deb

SVIP：

[root@elk91 ~]# wget http://192.168.16.253/Resources/ElasticStack/softwares/7.17.28/kibana-7.17.28-amd64.deb

安装 Kibana

[root@elk91 ~]# dpkg -i kibana-7.17.28-amd64.deb

修改 Kibana 的配置文件

[root@elk91 ~]# vim /etc/kibana/kibana.yml 
[root@elk91 ~]# 
[root@elk91 ~]# yy /etc/kibana/kibana.yml 
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://10.0.0.91:9200","http://10.0.0.92:9200","http://10.0.0.93:9200"]
i18n.locale: "zh-CN"
[root@elk91 ~]#

相关参数说明：

server.port：Kibana 监听的端口。
server.host：Kibana 监听的 IP 地址。
elasticsearch.hosts：Kibana 管理的 ES 集群信息。
i18n.locale：安装时选择的语言。

启动 Kibana 服务

[root@elk91 ~]# systemctl enable --now kibana.service
[root@elk91 ~]# ss -ntl | grep 5601
LISTEN 0      511          0.0.0.0:5601      0.0.0.0:*          
[root@elk91 ~]#

访问 Kibana 的 WebUI

http://10.0.0.91:5601/

Kibana 基于 KQL 的基本使用

略，见图片。

1.创建索引

2.使用索引查看数据

Filebeat 部署

部署 Filebeat 及 log 类型底层逻辑验证

下载 Filebeat

   wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.28-amd64.deb