统计
  • 建站日期:2019-12-01
  • 文章总数:2002 篇
  • 评论总数:2124 条
  • 分类总数:21 个
  • 最后更新:11月21日
文章 未分类

宝塔网站如何屏蔽蜘蛛 禁止某些蜘蛛爬取

程序员阿鑫
首页 未分类 正文

前言:有些网站不想做SEO,加上可能配置不好,各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。

方案1:首先你得拥有一个宝塔防火墙,直接在防火墙里找到:User-Agent过滤,然后添加以下规则内容:

(Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot)


宝塔网站如何屏蔽蜘蛛禁止某些蜘蛛爬取
-程序员阿鑫-带你一起秃头
-第1
张图片

方案2:在宝塔面板找到对应的网站,点击设置,点击配置文件,加入以下代码:

if ($http_user_agent ~* "Baiduspider|baiduspider|sogou spider|sogou web|360spider|Bytespider|toutiao|Sosospider|YodaoBot|msnbot|Googlebot") {
      return 403; }


宝塔网站如何屏蔽蜘蛛禁止某些蜘蛛爬取
-程序员阿鑫-带你一起秃头
-第2
张图片

Nginx内部标志UA的变量为 $http_user_agent,想要屏蔽某个UA,找到其它UA的关键词,按上面的设置即可。

版权说明
文章采用: 《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权。
版权声明:未标注转载均为本站原创,转载时请以链接形式注明文章出处。如有侵权、不妥之处,请联系站长删除。敬请谅解!

-- 展开阅读全文 --
这篇文章最后更新于2022-3-7,已超过 1 年没有更新,如果文章内容或图片资源失效,请留言反馈,我们会及时处理,谢谢!
Emlog博客ONE模板
« 上一篇
PHP删除文件夹内所有文件
下一篇 »

发表评论