【说站】nginx宝塔面板如何屏蔽垃圾蜘蛛禁止抓取不影响火车头发布
最近查看服务器日志，发现一些垃圾蜘蛛，一直爬行很多，比如以下这些垃圾，太烦人了，就想着如何屏蔽这些垃圾蜘蛛，但是又想着不影响火车头的发布。查了一些资料，下面把技巧分享给大家。
Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)"Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)"
本人一直使用的linux系统服务器宝塔面板管理，个人感觉比较方便。网上查找方法，屏蔽这些垃圾。
网上找到的代码如下：目前为止比较好用。
#禁止Scrapy等工具的抓取if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {return 403;}#禁止指定UA及UA为空的访问if ($http_user_agent ~* "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot|^$" ) {return 403;}#禁止非GET|HEAD|POST方式的抓取if ($request_method !~ ^(GET|HEAD|POST)$) {return 403;}宝塔面板下使用方法如下：
1、找到文件目录/www/server/nginx/conf文件夹下面，新建一个文件
agent_deny.conf
内容就是以上代码。
2.找到网站设置里面的第7行左右 写入代码： include agent_deny.conf;
如果你网站使用火车头采集发布，使用以上代码会返回403错误，发布不了的。如果想使用火车头采集发布，请使用下面的代码
#禁止Scrapy等工具的抓取if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {return 403;}#禁止指定UA访问。UA为空的可以访问，比如火车头可以正常发布。if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|YandexBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|Bytespider|Ezooms|Googlebot|JikeSpider|SemrushBot" ) {return 403; }#禁止非GET|HEAD|POST方式的抓取if ($request_method !~ ^(GET|HEAD|POST)$) {return 403;}最后重启重启nginx，就可以在网站日志里看到防御效果了。
本站发布的内容若侵犯到您的权益，请邮件联系站长删除，我们将及时处理！
从您进入本站开始，已表示您已同意接受本站【免责声明】中的一切条款！
本站大部分下载资源收集于网络，不保证其完整性以及安全性，请下载后自行研究。
本站资源仅供学习和交流使用，版权归原作者所有，请勿商业运营、违法使用和传播！请在下载后24小时之内自觉删除。
若作商业用途，请购买正版，由于未及时购买和付费发生的侵权行为，使用者自行承担，概与本站无关。
本文链接：https://www.10zhan.com/zhanzhang/7453.html
