小知识:教你使用Nginx限制百度蜘蛛频繁抓取的问题

百度蜘蛛对网站的抓取频率高和抓取量骤增导致服务器负载高,经常收到警告信息。最终采用nginx的ngx_http_limit_req_module模块限制了百度蜘蛛的抓取频率。每分钟允许百度蜘蛛抓取200次,超过频率限制的返回503。

limit_req_zone

语法: limit_req_zone $variable zone=name:size rate=rate;

默认值: none

配置段: http

设置一块共享内存限制域的参数,它可以用来保存键值的状态。 它特别保存了当前超出请求的数量。 键的值就是指定的变量(空值不会被计算)。

这里键值使用客户端的agent, 使用$http_user_agent变量。 如果限制域的存储空间耗尽了,对于后续所有请求,服务器都会返回 503 (Service Temporarily Unavailable)错误。

请求频率可以设置为每秒几次(r/s)。如果请求的频率不到每秒一次, 你可以设置每分钟几次(r/m)。比如每秒半次就是30r/m。

全局配置nginx.conf

?
1
limit_req_zone $ning_spider zone=ning_spider:10m rate=200r/m;

某个server中

?
1
2
3
4
if ($http_user_agent ~* “baiduspider|Googlebot”) {
set $ning_spider $http_user_agent;
}
limit_req zone=ning_spider burst=5 nodelay;

参数说明:

指令linit_req_zone 中的rate=200r/m 表示每分钟只能处理200个请求。

指令limit_req 中的burst=5 表示最大并发为5。即同一时间只能同时处理5个请求。

指令limit_req 中的nodelay 表示当已经达到burst值时,再来新请求时,直接返回503IF部分用于判断是否是百度蜘蛛的user agent。如果是,就对变量$ning_spider赋值。这样就做到了只对百度蜘蛛进行限制了。

测试,速率达不上可以同时开多个以下脚本测试

?
1
[root@localhost ~]# cat test.sh
?
1
2
3
4
5
6
7
8
9
#! /bin/bash 
sum=0; 
for i in {1..1000} 
do
((sum = sum + i)) 
curl -I -A “Baiduspider” http://www.hezongtianxia.com
curl -I -A “Sogou web spider” http://www.hezongtianxia.com
done
echo $sum
?
1
tailf /home/wwwlog/access.log|grep 503

参考:http://tengine.taobao.org/nginx_docs/cn/docs/http/ngx_http_limit_req_module.html

到此这篇关于使用Nginx限制百度蜘蛛频繁抓取 的文章就介绍到这了,更多相关Nginx限制蜘蛛频繁抓取 内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://blog.51cto.com/ning235/4954349

声明: 猿站网有关资源均来自网络搜集与网友提供,任何涉及商业盈利目的的均不得使用,否则产生的一切后果将由您自己承担! 本平台资源仅供个人学习交流、测试使用 所有内容请在下载后24小时内删除,制止非法恶意传播,不对任何下载或转载者造成的危害负任何法律责任!也请大家支持、购置正版! 。本站一律禁止以任何方式发布或转载任何违法的相关信息访客发现请向站长举报,会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。本网站的资源部分来源于网络,如有侵权烦请发送邮件至:2697268773@qq.com进行处理。
建站知识

小知识:Linux上通过SSH挂载远程文件系统方法详解

2023-3-18 4:17:22

建站知识

小知识:在Bash脚本中创建和使用数组方法总结

2023-3-18 4:25:36

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索