小知识:Nginx纯配置实现日志实时上报的思路与方法

目录 前言 实现思路 实现步骤 1. 编译 Nginx 2. 配置文件如下 总结

前言

Nginx 作为常用的负载均衡网关. 会产生大量的日志. 但是由于 Nginx 的配置文件是一种声明式的编程范式, 不方便描述流程控制, 因此不能通过简单的指令实现日志的上报.

通常 Nginx 的日志上报是需要写一个shell脚本或其他语言的脚本来定时解析 Nginx 的 log 文件, 然后进行上报.

利用 NJS 模块, 可以实现实时的日志上报.

但是由于 NJS 模块支持的指令的限制, 无法通过单一指令很好的实现日志上报. 通过多个指令的组合可以实现非阻塞性的实时日志上报.

该方案在 Nginx 中实现, 不依赖Node, Python 等其他进程

实现思路

Nginx 指令繁多, 以下为最近探索出的一种实现方式. 如果有更优雅的实现方法, 欢迎留言交流.

虽然拥有了强大的 Njs 模块可以写 JS 脚本, 但是 NJS 模块的指令有诸多限制, 并不像 Node 一样可以实现任意的功能.

如果要实现日志的实时上报, 需要满足以下2个能力:

每个请求都可以触发 后台上报, 不阻塞当前请求的处理进程

常用的 js_set 指令虽然可以在每个请求时都触发, 但是只支持同步的操作. 无法使用 fetch, subrequest 方法.

js_content 指令中可以使用 fetch 函数. 但只能在 location 中使用. 因此可以利用其他指令将请求转发到 js_content 的路径中, 在该指令中完成日志的上报.

而 http_auth_request_module 模块的 auth_request 指令用于做请求的权限校验, 如 jwt 校验等. 该指令在每个请求时都会触发, 创建一个子请求, 根据该请求的返回结果决定权限校验的结果.

因此可以结合这两个模块来实现日志的上报.

实现步骤

1. 编译 Nginx

实现该功能需要 Nginx 支持 ngx_http_js_module 和  ngx_http_auth_request_module 模块.  这2个模块是默认不安装的. 需要自己编译实现

NJS 模块安装可以参考 当JS邂逅Nginx http_auth_request_module 模块只要在编译时增加参数 –with-http_auth_request_module 即可

编译

?
1
2
3
./configure –add-module=[NJS 模块路径]/NJS/nginx –with-http_auth_request_module
make && make install

2. 配置文件如下

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
http {
js_import  http.js;   # 引入 js 文件
server {
listen 80;
auth_request /proxy_report; # 该指令对于每个请求开始时都会触发, 创建一个子请求转发到 proxy_report 路径上
location / {
index  index.html index.htm;
}
location /proxy_report {
internal; # 限制仅接受内部请求
# 把原请求的 uri 和 method 数据保存在 header 中. 因为auth_request 请求会修改这些数据.           
proxy_set_header X-Original-URI $request_uri;
proxy_set_header X-Original-METHOD $request_method;
# 转发到另外一个 server 上
proxy_pass http://localhost:8080/report;
}
}
server {
listen 8080;
# 上报接口放在另外一个 server 中, 且该 server 中无 auth_request 指令, 避免循环触发请求
location /report {
# 通过 js_content 指令引入一个 js 处理脚本, 完成上报操作
js_content http.report;
}
}
}
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
// http.js 文件
import qs from “querystring”;
async function report (r) {
let args = {
// 从 header 中取原始的 uri 和 method 等请求数据
uri: r.headersIn[X-Original-URI],
method: r.headersIn[X-Original-METHOD],
remoteAddress: r.remoteAddress,
status: r.status,
headersIn: JSON.stringifry(r.headersIn),
}
// 发出异步请求, 不阻塞当前请求的进程, 在后台完成上报
ngx.fetch(`http://[上报服务路径]?${qs.stringify(args)}`, {
method: GET,
})
// 返回200的状态码使校验指令成功
r.return(200)
}
export default { report }

总结

到此这篇关于Nginx纯配置实现日志实时上报的思路与方法的文章就介绍到这了,更多相关Nginx日志实时上报内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://juejin.cn/post/7045930355047530510

声明: 猿站网有关资源均来自网络搜集与网友提供,任何涉及商业盈利目的的均不得使用,否则产生的一切后果将由您自己承担! 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除,制止非法恶意传播,不对任何下载或转载者造成的危害负任何法律责任!也请大家支持、购置正版! 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报,会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络,如有侵权烦请发送邮件至:2697268773@qq.com进行处理。
建站知识

小知识:nginx rtmp模块编译 arm版本的问题

2023-3-21 1:33:33

建站知识

小知识:利用njs模块在nginx配置中引入js脚本

2023-3-21 1:52:10

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索