elk介绍
elk即elasticsearch + logstash + kibana
es:作为存储引擎
logstash：用来采集
日志
kibana可以将es中的数据进行可视化，可以进行数据分析中常见的对属性求和、平均值、计数，按照时间戳或其他
日志展示出来
整体的流程就是先把logstash启动，读取nginx日志数据存储到es中，再用kibana进行统计以及可视化
一.nginx
第一步需要先把nginx的日志格式修改为json格式，这样方便logstash读取
找到配置文件位置，我的是在/usr/local/nginx/conf
在其中添加
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
log_format main_json {“@timestamp”: “$time_local”,
“remote_addr”: “$remote_addr”,
“referer”: “$http_referer”,
“request”: “$request”,
“status”: $status,
“bytes”: $body_bytes_sent,
“agent”: “$http_user_agent”,
“x_forwarded”: “$http_x_forwarded_for”,
“up_addr”: “$upstream_addr”,
“up_host”: “$upstream_http_host”,
“up_resp_time”: “$upstream_response_time”,
“request_time”: “$request_time”
};
access_log logs/access.log main_json; # 引用日志格式名称
改完以后日志的格式就会变为json字符串，如下所示
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
“@timestamp”: “25/feb/2022:10:58:15 +0800”,
“remote_addr”: “192.168.2.95”,
“referer”: “-“,
“request”: “get /api/getscreenshot?url=http://www.qhjyedu.com/0e/bd/c12a3773/page.htm&path=/data2/ncs-cyber/mirror/page_image/situation_image/gdzx20211020/ddd38417-971b-400f-b430-834022c57d97.png&errorkeyword=中国民族伟大复兴&successkeyword=中华民族伟大复兴 http/1.1”,
“status”: 304,
“bytes”: 0,
“agent”: “mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/94.0.4606.81 safari/537.36”,
“x_forwarded”: “-“,
“up_addr”: “192.168.3.222:9848”,
“up_host”: “-“,
“up_resp_time”: “12.193”,
“request_time”: “12.193”
}
二.logstash
接着便是写logstash配置文件了，自己写一个配置文件，我的名字叫做nginx-access.conf，配置如下
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
input {
file {
path => [“/usr/local/nginx/logs/access.log”] # 读取日志文件的路径
start_position => “beginning”
codec => json { # 这里是将json字符串转化为json，不然的话会在es中存一个<属性,json字符串>
charset => [“utf-8”]
}
}
}
filter { # 简单处理，无过滤操作
}
output {
elasticsearch {
hosts => [“你的ip:port”] # 你的es的ip+端口
index => “logstash-nginx-access-%{+yyyy.mm.dd}” # 你的索引名
}
stdout {
codec => rubydebug
}
}
这样配置完配置文件以后，就可以执行logstash指令了，根据配置文件，读取指定的日志文件
?
1
logstash-6.7.2/bin/./logstash -f /home/xxx/nginx_access.conf –path.data=/home/xxx/logstash
之后可以在es中查看自己新建立的索引
由于我这里服务器的logstash和es都是已经部署好的，没有部署的话需要查看一下部署的教程，部署一下
另外，日志采集其实也可以使用fleatbeats，是一个更加轻量易用的日志采集工具
三.kibana
接着就可以在kibana中对es索引进行可视化了
1.management添加索引
选择你在es中存储的索引，直接一路next。
2.discover查看索引
3.visualize建立仪表盘模板
选择你想要展示的图标模式，我这里简单的测试了一下折线图，统计的同学应该对这些操作更加熟悉
纵轴选择count，横轴选择terms，执行一下，图表就出来了
点击上侧导航栏的save即可将你建立的这个视图模板保存，之后可以将其放入到dashboard持续监测
4.dashboard
可以选择建立好的visualize，在这个地方进行展示
总结
一次关于elk的简单实践，主要的操作都在于部署、配置，不过由于我的服务器已经部署好了这些，只需要配置就行了。
另外不容易操作的点就在于visualize的配置，可能需要一些统计学知识，才能对数据进行更好的统计分析，以便公司做出更优的决策
到此这篇关于elk监控nginx日志总结的文章就介绍到这了,更多相关elk监控nginx日志内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家！
原文链接：https://www.cnblogs.com/andandan/p/15976039.html
声明： 猿站网有关资源均来自网络搜集与网友提供，任何涉及商业盈利目的的均不得使用，否则产生的一切后果将由您自己承担！ 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除，制止非法恶意传播，不对任何下载或转载者造成的危害负任何法律责任！也请大家支持、购置正版！ 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报，会员发帖仅代表会员个人观点，并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络，如有侵权烦请发送邮件至：2697268773@qq.com进行处理。
