1200字范文,内容丰富有趣,写作的好帮手!
1200字范文 > docker容器日志采集EFK日志分析系统的搭建与应用

docker容器日志采集EFK日志分析系统的搭建与应用

时间:2021-09-05 19:30:14

相关推荐

docker容器日志采集EFK日志分析系统的搭建与应用

前言

docker容器中的日志会随着docker的关闭而消失,需要一个持久化的日志落地方案

本编介绍elasticsearch+kibana+filebeat的搭建如何收集各docker容器的日志

一、elasticsearch安装与配置

ES下载:

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.tar.gz解

压到/usr目录下:tar zxvfelasticsearch-6.3.2.tar.gz –c /usr/

创建es用户并赋权:useradd es&& chown -R es:es /usr/elasticsearch-6.3.2.tar.gz/

修改elasticsearch配置文件:

vim /usr/elasticsearch-6.3.2/config/elasticsearch.yml

elasticsearch不能用root启动所以切换成刚创建的用户:su es

执行:/usr/elasticsearch-6.3.2/bin/./elasticsearch

如果出现如下报错:

对此文件赋权:chmod 777 /usr/jdk1.8.0_141/jre/bin/java

再次执行es启动 出现如下报错:

修改elasticsearch虚拟机参数(默认1G):

vim /usr/elasticsearch-6.3.2/config/jvm.options

再次启动elasticsearch,出现新的报错信息

切换成root账号:su root

1. 修改:vim /etc/security/limits.conf

添加:es soft nofile 65536

es hard nofile 65536

2. 修改 vim /etc/sysctl.conf

添加:vm.max_map_count=262144

刷新:sysctl -p

再次启动elasticsearch:/usr/elasticsearch-6.3.2/bin/./elasticsearch -d (后台启动)

校验elasticsearch是否启动成功:curl 192.168.1.119:9200

或者浏览器访问:

二、kibana安装与配置

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-x86_64.rpm

安装:yum install -y kibana-6.0.0-x86_64.rpm

修改:vim /etc/kibana/kibana.yml

开机自启与启动kibana: systemctl enable kibana && systemctl start kibana

页面访问kibana:

三、filebeat安装与配置

日志收集:

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-x86_64.rpm

安装:rpm -ivh filebeat-6.3.2-x86_64.rpm

修改filebeat.yml文件:vim /etc/filebeat/filebeat.yml

搭建完毕后在kibana上回发现抛错信息回被分message显示 所以顺道在此文件中修改

保存退出,启动filebeat: systemctl start filebeat.service

停止filebeat服务:systemctl stop filebeat.service

至此EFK日志系统搭建完毕,下面我来介绍如何用EFK收集docker容器日志

四、EFK采集docker容器日志

以zuul服务为例:

查看代码中logback配置:

修改zuul的服务栈文件:

服务启动会发现报错没有权限访问容器logs文件夹下的zuul.log

修改设置 vim /etc/sysconfig/selinux

然后再次启动服务后可以看到宿主机中此目录以及同步到了zuul.log

然后创建kibana的索引:

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。