docker安装ELK与Filebeat配置说明

参考链接: https://blog.csdn.net/u010979642/article/details/89947674

1.下载镜像:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# ELK_VERSION=7.0.1 & ES_VERSION=7.0.1 & LOGSTASH_VERSION=7.0.1 & KIBANA_VERSION=7.0.1
# ES_PACKAGE=elasticsearch-7.0.1-linux-x86_64.tar.gz
# LOGSTASH_PACKAGE=logstash-7.0.1.tar.gz
# KIBANA_PACKAGE=kibana-7.0.1-linux-x86_64.tar.gz
# 拉取 sebp/elk 镜像, 此次部署版本号为: 7.0.1

docker pull sebp/elk


# docker 中 filebeat 版本: FILEBEAT_VERSION=6.2.3
docker pull prima/filebeat


# 查看 镜像对应的 filebeat 版本
docker image inspect prima/filebeat:latest | grep FILEBEAT_VERSION

2.logstash文件beats-input.conf配置文件内容:[去掉 SSL 配置内容 否则 filebeat因为 ssl 的配置无法连接logstash 注意点]

注意: 此处关闭 ssl, filebeat.yml 中也必须关掉 ssl, 这个文件在 elk 容器内部, 路径为: /etc/logstash/conf.d/

1
2
3
4
5
6
7
8
9

beats-input.conf 内容

input {
beats {
host => "0.0.0.0"
port => 5044
}
}

3.elk docker 指令: 注意02-beats-input.conf文件

1
2
3
4
docker run -p 9200:9200 -p 5044:5044 -p 5601:5601 \
-v /Users/haodalai/docker/all-elk/logstash/02-beats-input.conf:/etc/logstash/conf.d/02-beats-input.conf \
-v /Users/haodalai/docker/all-elk/data:/data \
-it -d --name elk sebp/elk

4.查看镜像服务的内容:

1
2
3
4
5
6
7
8
9
10
 # 查看 elk 容器日志
docker logs -f elk --tail=100

# 验证
# 访问 es
http://127.0.0.1:9200
http://127.0.0.1:9200/_search?pretty

# 访问 kibana
http://127.0.0.1:5601

5.filebeat 文件配置内容: 文件名称 filebeat.yml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

filebeat.yml 内容:


filebeat:
prospectors:
-
# 指定要监控的日志,可以指定具体得文件或者目录
paths:
- /slogs/*.log
# 指定文件的输入类型log(默认)或者stdin
input_type: log
enabled: true
# 设定Elasticsearch输出时的document的type字段 可以用来给日志进行分类。Default: log
# document_type: nginx-access
# 如果设置为0s,则Filebeat会尽可能快地感知更新(占用的CPU会变高)。默认是10s
scan_frequency: 10s
# 记录filebeat处理日志文件的位置的文件,默认是在启动的根目录下
registry_file: /var/lib/filebeat/registry
output:
logstash:
# filebeat收集后放到 logstash 里 10.0.1.133 是本机 ip 地址
hosts: ["10.0.1.133:5044"]
enabled: true
index: filebeat

6.filebeat 指令:

1
2
3
4
5

docker run -d --name filebeat \
-v /Users/haodalai/docker/filebeat/filebeat.yml:/filebeat.yml \
-v /Users/haodalai/logs:/slogs \
prima/filebeat:latest

7.访问地址即可查看日志: http://127.0.0.1:5601

PS: 查看日志过滤列效果

kbn.png

感谢您的阅读,本文由 左之右 版权所有。如若转载,请注明出处:左之右(https://zuoyoulai.github.io/2020/07/15/docker%E5%AE%89%E8%A3%85ELK%E4%B8%8EFilebeat%E9%85%8D%E7%BD%AE%E8%AF%B4%E6%98%8E/
docker安装软件