网站被疯狂抓取,甚至服务器都快宕机了。下面,是Nginx屏蔽垃圾蜘蛛的方法。
都使用宝塔面板的吧,那就好办多了。打开 宝塔后台-网站-网站管理-配置文件 中搜索
#禁止访问的文件或目录
在它上面敲个回车,然后加入下面代码
if ($http_user_agent ~* "AhrefsBot|bingbot|Bytespider|Baiduspider|SemrushBot|YisouSpider|facebook|applebot|sogou|mj12bot"){
return 403;
}
完成,超级简单。使用 | 隔开,可以禁止任何搜索引擎蜘蛛哦。