docker部署3节点ELK集群

  • A+
所属分类:ELK日志 大数据

一、安装elasticsearch集群

3个节点执行:

3个节点分别启动es,通过head插件看集群状态
安装head和cerebro并查看
http://10.4.31.161:9100/ http://10.4.31.161:1234/

启动ES

二、安装kibana和logstash

docker run -d --name kibana1 -e "ELASTICSEARCH_URL=http://10.4.31.161:9200" -p 5601:5601 kibana:6.4.2
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.2.zip
wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.4.2/elasticsearch-analysis-ik-6.4.2.zip
安装redis apt-get install redis-server
logstash配置文件

启动logstash

三、安装elastalert告警插件

git clone https://github.com/Yelp/elastalert.git
pip install setuptools==1.1.6
cd elastalert
pip install -r requirements.txt
pip install elastalert
elastalert-create-index
相关配置文件

启动 cd /data/elk/elastalert/;python -m elastalert.elastalert --verbose --rule /data/elk/elastalert/elkalert_rules/tomcat_error.yaml

使用supervisord 管理进程
安装:pip install supervisor
配置文件:

supervisord -c /etc/supervisor/supervisord.conf

#关闭supervisor
supervisorctl shutdown
#重新载入supervisor,重新载入supervisor,在这里相当于重启supervisor服务,里面的服务也会跟着重新启动
supervisor reload
#添加/删除 要管理服务,当你修改了配置文件,可以直接通过update 方式升级即可
supervisor update

#通过命令方式启动所有服务或者单个服务
supervisorctl start all
supervisorctl start service_name
#关闭服务
supervisorctl stop all
supervisorctl stop service_name
#重启所有服务或者单个服务
supervisorctl restart all
supervistorctl restart service_name
web 管理界面:ip:9999

Nginx访问日志的收集和展示:
下载地图库放到指定目录

nginx日志格式

nginx的日志匹配正则在

在beat-redis.conf中调用

KIBANA画图
unique count 去重ip 统计独立Ip

supervisor 告警邮件点问题,直接启动
nohup python -m elastalert.elastalert --verbose --rule /data/elk/elastalert/elkalert_rules/tomcat_memory.yaml > tomcat_memory.log &

参考:
https://blog.csdn.net/Ghost_leader/article/details/79121297
https://blog.csdn.net/Amor_Leo/article/details/83144739
https://cloud.tencent.com/info/68cf6ddd3890b0a41a6c55defbdc79b5.html
http://blog.51cto.com/seekerwolf/2121070
http://blog.51cto.com/seekerwolf/2107118
https://www.freebuf.com/sectool/164591.html
https://www.jianshu.com/p/e21a82e56b86
https://www.cnblogs.com/frankdeng/p/9139035.html
https://www.cnblogs.com/minseo/p/9194838.html
https://www.cnblogs.com/minseo/p/9195937.html 地图

weinxin
我的微信
这是我的微信扫一扫

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: