小知识:Nginx状态监控以及日志分析详解

1、Nginx状态监控

Nginx提供了一个内置的状态信息监控页面可用于监控Nginx的整体访问情况,这个功能由ngx_http_stub_status_module模块进行实现。

使用nginx -V 2>&1 | grep -o with-http_stub_status_module命令检测当前Nginx是否有status功能,如果输出ngx_http_stub_status_module则说明是有的,如果没有可以在编译时加上此模块。

默认情况下,status是关闭的,我们需要开启,并指定uri来访问数据。

?
1
2
3
4
5
6
7
8
server {
listen 80;
server_name default_server;
location /status {
stub_status on;
allow 114.247.125.227;
}
}

allow配置只允许指定的Ip才能访问nginx status功能,去掉就是不限制。

重启Nginx之后,浏览器访问http://{IP}/status查看状态监控信息

%小知识:Nginx状态监控以及日志分析详解-猿站网-插图

Active connections:当前的客户端活动连接数(包含正在等待的客户端连接),相当于TCP连接状态处于Established和SYN_ACK accepts: 已接受的客户端连接总数,即已被worker进程接收的连接 handled: 已被处理的连接总数 requests: 客户端的http请求总数 Reading: 当前正在读取的http请求数(读取到http请求首部) Writing: 当前准备响应的连接数(写入到http响应首部) Waiting: 当前处于等待的空闲客户端请求数, 等待的时间为Reading和Writing之间的间隔

采集到Nginx数据之后就可以用监控工具给监控起来了。

2、日志分析

Nginx默认的日志格式配置可以在/etc/nginx/nginx.conf中找到

?
1
2
3
log_format main $remote_addr – $remote_user [$time_local] “$request”
$status $body_bytes_sent “$http_referer”
“$http_user_agent” “$http_x_forwarded_for” $request_time $upstream_response_time;

打印的日志实例

39.105.66.117 – mp [11/Sep/2019:19:03:01 +0800] “POST /salesplatform-gateway/users HTTP/1.1” 200 575 “-” “Apache-HttpClient/4.5.5 (Java/1.8.0_161)” “-” 0.040 0.040

39.105.66.117 – mp [11/Sep/2019:19:03:08 +0800] “POST /salesplatform-gateway/users HTTP/1.1” 200 575 “-” “Apache-HttpClient/4.5.5 (Java/1.8.0_161)” “-” 0.008 0.008 $remote_addr: 客户端的ip地址 $remote_user: 用于记录远程客户端的用户名称 $time_local: 用于记录访问时间和时区 $request: 用于记录请求的url以及请求方法 $status: 响应状态码 $body_bytes_sent: 给客户端发送的文件主体内容字节数 $http_referer: 可以记录用户是从哪个链接访问过来的 $http_user_agent: 用户所使用的浏览器信息 $http_x_forwarded_for: 可以记录客户端IP,通过代理服务器来记录客户端的ip地址 $request_time: 指的是从接受用户请求的第一个字节到发送完响应数据的时间,即$request_time包括接收客户端请求数据的时间、后端程序响应的时间、发送响应数据给客户端的时间 $upstream_response_time: 用于接收来自上游服务器的响应的时间

常用分析命令

1、根据访问IP统计UV

?
1
awk {print $1} paycenteraccess.log | sort -n | uniq | wc -l

2、查询访问最频繁的IP(前10)

?
1
awk {print $1} /var/log/nginx/access.log | sort -n |uniq -c | sort -rn | head -n 10

3、查看某一时间段的IP访问量(1-8点)

?
1
awk $4 >=”[25/Mar/2020:01:00:00″ && $4 <=”[25/Mar/2020:08:00:00″ /var/log/nginx/access.log | awk {print $1} | sort | uniq -c| sort -nr |wc -l

4、查看访问100次以上的IP

?
1
awk {print $1} /var/log/nginx/access.log | sort -n |uniq -c |awk {if($1 >100) print $0}|sort -rn

5、查看指定ip访问过的url和访问次数

?
1
grep “39.105.67.140” /var/log/nginx/access.log|awk {print $7} |sort |uniq -c |sort -n -k 1 -r

6、根据访问URL统计PV

?
1
cat /var/log/nginx/access.log |awk {print $7} |wc -l

7、查询访问最频繁的URL(前10)

?
1
awk {print $7} /var/log/nginx/access.log | sort |uniq -c | sort -rn | head -n 10

8、查看访问最频的URL([排除/api/appid])(前10)

?
1
grep -v /api/appid /var/log/nginx/access.log|awk {print $7} | sort |uniq -c | sort -rn | head -n 10

9、查看页面访问次数超过100次的页面

?
1
cat /var/log/nginx/access.log | cut -d -f 7 | sort |uniq -c | awk {if ($1 > 100) print $0} | less

10、查看最近1000条记录,访问量最高的页面

?
1
tail -1000 /var/log/nginx/access.log |awk {print $7}|sort|uniq -c|sort -nr|less

11、统计每小时的请求数,top10的时间点(精确到小时)

?
1
awk {print $4} /var/log/nginx/access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 10

12、统计每分钟的请求数,top10的时间点(精确到分钟)

?
1
awk {print $4} /var/log/nginx/access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 10

13、统计每秒的请求数,top10的时间点(精确到秒)

?
1
awk {print $4} /var/log/nginx/access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 10

14、查找指定时间段的日志

?
1
awk $4 >=”[25/Mar/2020:01:00:00″ && $4 <=”[25/Mar/2020:08:00:00″ /var/log/nginx/access.log

15、列出传输时间超过 0.6 秒的url,显示前10条

?
1
cat /var/log/nginx/access.log |awk (substr($NF,2,5) > 0.6){print $4,$7,substr($NF,2,5)} | awk -F ” {print $1,$2,$3} |sort -k3 -rn | head -10

16、列出/api/appid请求时间超过0.6秒的时间点

?
1
cat /var/log/nginx/access.log |awk (substr($NF,2,5) > 0.6 && $7~//api/appid/){print $4,$7,substr($NF,2,5)} | awk -F ” {print $1,$2,$3} |sort -k3 -rn | head -10

17、获取前10条最耗时的请求时间、url、耗时

?
1
cat /var/log/nginx/access.log |awk {print $4,$7,substr($NF,2,5)} | awk -F ” {print $1,$2,$3} | sort -k3 -rn | head -10

总结

到此这篇关于Nginx状态监控以及日志分析的文章就介绍到这了,更多相关Nginx状态监控及日志分析内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://segmentfault.com/a/1190000022808115

声明: 猿站网有关资源均来自网络搜集与网友提供,任何涉及商业盈利目的的均不得使用,否则产生的一切后果将由您自己承担! 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除,制止非法恶意传播,不对任何下载或转载者造成的危害负任何法律责任!也请大家支持、购置正版! 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报,会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络,如有侵权烦请发送邮件至:2697268773@qq.com进行处理。
建站知识

小知识:详解如何部署H5游戏到nginx服务器

2023-4-1 1:04:55

建站知识

小知识:nginx反向代理导致session失效的问题解决

2023-4-1 1:24:09

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索