123.6.49.*段的假360蜘蛛最近很用力啊
2月 15, 2021 by 傅老师 · 2 Comments
最近有一个爬虫IP段引起了傅老师的注意：
123.6.49.*
反查DNS为：
hn.kd.ny.adsl
其携带的UA显示是360Spider。查360官方文档：http://www.so.com/help/spider_ip.html，此ip段不在官方的蜘蛛列表上，证明它是冒牌的360蜘蛛。
这个假360蜘蛛采集特点和真360蜘蛛不同，后者总是以采集页面的url作referrer，假360蜘蛛则以网站首页做referrer，而且采集量特别巨大，曾有几天（以24小时为单位）竟然超过了百度蜘蛛。
傅老师先养着这个假360蜘蛛（返回200状态，给它一个图片验证），看看它打算爬多久。
http://www.so.com/help/spider_ip.html最近几天更新了，是360的蜘蛛。
以下为360搜索的蜘蛛IP段：
123.6.49.*
1.192.192.*
1.192.195.*
42.236.10.*
42.236.12.*
42.236.17.*
42.236.101.*
27.115.124.*
180.163.220.*
它这个页面已经很久没有更新了。360蜘蛛现在采集网页常常不带“360Spider”字样。以前采的时候referrer=request_url，现在则连referrer也不带了。