搜狗蜘蛛（Sogou web spider）四宗罪，2024年是时候彻底屏蔽搜狗了！

一、搜狗蜘蛛没有官方的Sogou web spider列表

搜狗官方表示：搜狗暂不对外提供搜狗spider IP列表

二、搜狗蜘蛛IP段经常变更

搜狗蜘蛛的IP段并不稳定，可能去年还是Sogou web spider，今天就不是了。昨天傅老师才清理了一番，发现一个C段地址过去是搜狗蜘蛛，现在变成了pubyun的IP了。

三、搜狗蜘蛛IP地址不连续，过于离散

就拿58.250.125.0/24这个段来说吧，你看看有多散：

‘58.250.125.6-58.250.125.7’,
‘58.250.125.22’,
‘58.250.125.31’,
‘58.250.125.64’,
‘58.250.125.66-58.250.125.68’,
‘58.250.125.70-58.250.125.75’,
‘58.250.125.77-58.250.125.95’,
‘58.250.125.98-58.250.125.105’,
‘58.250.125.107’,
‘58.250.125.109’,
‘58.250.125.111-58.250.125.116’,
‘58.250.125.118-58.250.125.120’,
‘58.250.125.122-58.250.125.128’,
‘58.250.125.130-58.250.125.135’,
‘58.250.125.137-58.250.125.139’,
‘58.250.125.142-58.250.125.154’,
‘58.250.125.156-58.250.125.162’,
‘58.250.125.165’,
‘58.250.125.168’,
‘58.250.125.170-58.250.125.171’,
‘58.250.125.174-58.250.125.175’,
‘58.250.125.181’,
‘58.250.125.189’

每次都要一个一个这样帮搜狗蜘蛛加入防火墙白名单，真是累死人！

四、抓取频率过高，经常导致服务器负载狂飙。

反正看着搜狗的流量也没几个，傅老师打算择机彻底屏蔽掉搜狗蜘蛛算了。

2024.6.3更新
6月3日搜狗又上线121.229.156.1-121.229.156.126这个IP段，这是压垮傅老师的“最后一根稻草”，这次终于下定决心彻底屏蔽Sogou web spider这个UA，终于不用再去手动为搜狗加白名单了，忽然间有一种解脱的感觉！

——本文最后由傅老师于2024-06-03编辑过