垃圾蜘蛛是什么,封禁AhrefsBot垃圾蜘蛛方法

软文外链

手动发布相关内容软文,多域名、多C段、带锚文本、性价比实惠又便宜

¥软文1毛1篇

高权重分类目录

高权重1~5的分类目录,任意挑选数量,最低只要10元1个

¥10元一个
首页 » SEO教程 » 垃圾蜘蛛是什么,封禁AhrefsBot垃圾蜘蛛方法

奶妈的一个站流量用超了,最开始以为是图片被盗链导致了,分析了下日志才发现,是AhrefsBot这个垃圾蜘蛛在疯狂的爬站,不到一天时间爬取了6000多次,我X。果断研究如何封禁AhrefsBot垃圾蜘蛛,下面给大家介绍下垃圾蜘蛛是什么。

垃圾蜘蛛是什么,封禁AhrefsBot垃圾蜘蛛方法

一、AhrefsBot是什么

AhrefsBot是一个国外的搜索引擎蜘蛛。不过对你的网站来说除了浪费资源外,没有任何好处。

简单说,AhrefsBot是一个营销网站的爬取蜘蛛,负责分析你网站的链接信息,这个工具对于国内用户来说,有luan用。

详细的介绍你可以查看他们官网的英文解释。https://ahrefs.com/robot

二、AhrefsBot的IP段

奶妈通过对一天的网站日志进行分析,你们猜猜一共有多少个不同的AhrefsBot蜘蛛ip来抓取网站数据?

垃圾蜘蛛是什么,封禁AhrefsBot垃圾蜘蛛方法

居然有561个IP,而且只是不到一天的日志记录。

官方公布的AhrefsBot爬虫IP段如下:

54.36.148.0/24
54.36.149.0/24
54.36.150.0/24

195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24

好了,既然这样变态,下面就开始来想办法封禁AhrefsBot的抓取吧。

三、直接封AhrefsBot ip段

被AhrefsBot蜘蛛爬取的站服务器用的阿里云,阿里云后台有安全组可以使用,所以直接屏蔽AhrefsBot的IP段,是最简单粗暴,效果立竿见影的方法。

进入阿里云后台,进入你的服务器列表,点击服务器的安全组,配置安全组规则。

垃圾蜘蛛是什么,封禁AhrefsBot垃圾蜘蛛方法按照上图的方法配置,把下面这些ip段全部添加进去就行了。(奶妈是直接把54.36.*.*和195.154.*.*的IP都封了)

54.36.148.0/24
54.36.149.0/24
54.36.150.0/24

195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24

四、使用robots.txt封禁

通常来说,只要是遵循robots规则的蜘蛛或者爬虫,都可以使用robots.txt来禁止它爬取。AhrefsBot官方也说遵守这个规则,不过实际上是如果你不是一开始就添加了这个规则,你都不知道它蜘蛛什么时候才会重新爬取你的robots.txt文件来修改抓取规则。

所以暴力点,直接封IP比较快。如果要添加,规则如下:

User-agent: AhrefsBot
Disallow: /

五、使用apache或者nginx来封禁

这个方法参考之前的文章:WordPress网站阻止特定机器人和爬虫访问的方法

如果使用的nginx的话,也可以单独添加下面这串代码到你虚拟机配置文件来实现屏蔽AhrefsBot

if ($http_user_agent ~* AhrefsBot) {
   return 403;
}

文章内容均为用户投稿或者网上收集:作者:萌新SEO, 转载或复制请以 超链接形式 并注明出处 萌新SEO
原文地址:《垃圾蜘蛛是什么,封禁AhrefsBot垃圾蜘蛛方法》 发布于2020-05-11

分享到:
赞(0) 打赏

评论 抢沙发

4 + 4 =


觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

成都SEO优化教程
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册