一、Nginx的ngx_http_mirror_module模块实现流量复制介绍
Nginx专门提供了ngx_http_mirror_module模块,用来实现流量拷贝。将生产环境的流量拷贝到预上线环境或测试环境,这样做有很多好处:
可以验证功能是否正常,以及服务的性能; 用真实有效的流量请求去验证,又不用造数据,不影响线上正常访问; 相比于灰度发布,镜像流量不会影响真实流量; 可以用来排查线上问题; 重构,假如服务做了重构,这也是一种测试方式;ngx_http_mirror_module模块就像是一个镜像站点一样,将所有的请求都收集起来,这个镜像站点就代表了所有真实有效的原始请求。有了这个镜像站点,后续就可以复现所有的请求,实现把线上的流程复制到别的地方。
ngx_http_mirror_module模块特性:
nginx 1.13.4及后续版本内置ngx_http_mirror_module模块,提供流量镜像(复制)的功能。 支持流量放大,做法为:配置多份相同镜像。 相比tcp-copy的优势:无需录制流量,实时可用;配置相当简单。 源站请求,直接原路返回;正常配置下,mirror请求不影响源站请求及响应,源站nginx-server将流量复制到mirror站后,两者不再有任何交集。二、Nginx编译安装,要加上ngx_http_mirror_module模块
下面是Nginx解压后,编译安装的示例
三、Nginx流量拷贝的配置示例
配置说明:上面配置中,将访问http://kevin.com/order、http://kevin.com/customer的流量分别复制到172.16.60.230服务器的8088和8089端口。
四、Nginx使用ngx_http_mirror_module模块进行流量拷贝的配置技巧
1)Nginx复制GET及POST请求流量
2)Nginx不允许复制POST请求流量
默认是支持POST流量复制的,需要通过下面配置来禁止。
3)拷贝流量放大
配置多分mirror镜像点
4)配置mirror镜像日志
mirror中不支持配置access_log,解决方法:mirror-location跳转到server,在server中配置accesslog。
五、Nginx流量拷贝的注意事项
1)mirror镜像配置日志
镜像配置不正确,导致流量复制操作没正常执行。如果mirror镜像配置缺少日志,会严重影响调试。所以强烈建议配置镜像日志,配置方法如如上”配置mirror镜像日志”。部分错误配置的错误信息在在error日志中。
2)mirror_request_body/proxy_pass_request_body与Content-Length需配置一致
如果mirror_request_body或者proxy_pass_request_body设置为off,则Content-Length必须设置为””,因为nginx(mirror_request_body)或tomcat(mirror_request_body)处理post请求时,会根据Content-Length获取请求体,如果Content-Length不为空,而由于mirror_request_body或者proxy_pass_request_body设置为off,处理方以为post有内容,当request_body中没有,处理方会一直等待至超时,则前者为off,nginx会报upstream请求超时;后者为off,tomcat会报如下错误:
更多关于Nginx流量拷贝技术文章请查看下面的相关链接
原文链接:https://www.cnblogs.com/kevingrace/p/14001080.html