找回密码
 成为会员

新浪微博登陆

只需一步, 快速开始

搜索
0赞
赞赏
手机版
扫码打开手机版
把文字装进口袋

常见搜索引擎蜘蛛(爬虫、机器人)IP地址段

盖茨 2008-11-18 17:58:59
--James Qi 2008年10月27日 (二) 22:01 (CST)
  近一年来,网站多次出现负载超高的情况,严重的时候甚至导致根本无法访问,以前还以为是有无聊的人进行攻击,后来仔细研究发现基本上都是一些设计不良的搜索引擎蜘蛛(又称搜索引擎爬虫、搜索引擎机器人)频繁到访造成的。
  后来采取了一些办法,例如修改Robots.txt、增加Squid缓存、关闭计数器和全文检索等办法,总体来说有一些改善,但偶尔还是会遇到突发性负载增高的情况,最后不得不还是采取封IP的办法来保持网站正常运行。
  但封IP唯一担心的就是将搜索引擎蜘蛛拒之门外后,得不到相应的收录从而影响网站流量,所以封IP之前往往要查一查是否属于哪个搜索引擎抓取服务器群的IP地址段。于是在网上查了一些资料,现在收集整理如下:
蜘蛛名称IP地址
Baiduspider 202.108.11.* 220.181.32.* 58.51.95.* 60.28.22.* 61.135.162.* 61.135.163.* 61.135.168.*
YodaoBot 202.108.7.215 202.108.7.220 202.108.7.221
Sogou web spider 219.234.81.* 220.181.61.*
Googlebot 203.208.60.*
Yahoo! Slurp 202.160.181.* 72.30.215.* 74.6.17.* 74.6.22.*
Yahoo ContentMatch Crawler 119.42.226.* 119.42.230.*
Sogou-Test-Spider 220.181.19.103 220.181.26.122
Twiceler 38.99.44.104 64.34.251.9
Yahoo! Slurp China 202.160.178.*
Sosospider 124.115.0.*
CollapsarWEB qihoobot 221.194.136.18
NaverBot 202.179.180.45
Sogou Orion spider 220.181.19.106 220.181.19.74
Sogou head spider 220.181.19.107
SurveyBot 216.145.5.42 64.246.165.160
Yanga WorldSearch Bot v 77.91.224.19 91.205.124.19
baiduspider-mobile-gate 220.181.5.34 61.135.166.31
discobot 208.96.54.70
ia_archiver 209.234.171.42
msnbot 65.55.104.209 65.55.209.86 65.55.209.96
sogou in spider 220.181.19.216
  以上内容将会逐步添加、修改,希望对遇到同样问题的朋友有帮助。
  如果您也知道一些以上没有记录的IP地址段,欢迎留言,谢谢
您需要登录后才可以回帖 立即登录 新浪微博登陆
小帖士
如果你不是特别对他的每一句话感兴趣,不要随意用"关注"人的功能,因为关注以后,他的所有发帖回帖都会以通知的方式提醒你的!
统计信息
  • 会员数: 4661 个
  • 话题数: 8710 篇
  • 巅峰数: 8 人
返回顶部