自 2009 年 11 月,Bing 团队就已开始忙于改进 Bing 的抓取机器人(也称爬虫),并且将在今年 10 月 1 日,新的 Bing 机器人 Bingbot 将代替旧的 MSNbot 2.0b。
更新后的 UA 将是:
Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)
HTTP 头也将附带如下 FROM 信息:
From: bingbot(at)microsoft.com
另外,robots.txt 中涉及 msnbot 的规则仍将生效,不过 bingbot 和其他旧版微软搜索引擎机器人共存情况下,bingbot 规则优先生效。
8 条评论
落水的猫
嗯??这是什么东西
2010 年 06 月 29 日 8:05 下午
CaoK
@落水的猫 是Bing抓取各网站页面用的程序
2010 年 06 月 29 日 8:29 下午
任平生
恩。发现 feed 中去掉 相关文章了,赞一个 :roll:
2010 年 06 月 29 日 8:34 下午
任平生
@任平生 哦, roll 不是 翘拇指的表情啊
2010 年 06 月 29 日 8:35 下午
Picturepan2
@落水的猫 就是 Bing 背后抓取网页内容的对象。
2010 年 06 月 29 日 8:40 下午
Picturepan2
@任平生 额 其实是我忘记安装插件叻。 = =+
2010 年 06 月 29 日 8:41 下午
劲博客
关键是抓取速度
2010 年 06 月 30 日 4:40 上午
评论当前被关闭。