谷歌爬虫Googlebot最近怎么干起了垃圾爬虫的勾当?

四月 28, 2021 by · Leave a Comment 

谷歌爬虫(Googlebot)一向以守规矩著称,然而这两天66.249.71.*中的几个IP地址却干起了垃圾爬虫的勾当:

1、伪造user-agent;
2、伪造访问来路

为了确认没有错怪谷歌爬虫,傅老师还专门反查(dig -x)了一下几个ip:

45.71.249.66.in-addr.arpa. 47657 IN PTR crawl-66-249-71-45.googlebot.com.

143.71.249.66.in-addr.arpa. 86400 IN PTR crawl-66-249-71-143.googlebot.com.

77.71.249.66.in-addr.arpa. 86400 IN PTR crawl-66-249-71-77.googlebot.com.

看样子傅老师没有冤枉这几个googlebot。

至于为什么会发生这种情况,还需要进一步观察一下。

备注:如果你的centos服务器上没有dig命令,可以yum安装:
yum install dnsutils

——本文最后由傅老师于2021-04-28编辑过

评论


+ 五 = 十一