Live Search 开始测试爬虫 MSNBot 2.0

Live Search 团队将在接下来的几周里测试 Live Search 的新版爬虫 MSNBot 2.0,新爬虫的 UA 串为:

msnbot/2.0b (+http://search.msn.com/msnbot.htm)

在测试期间,Live Search 的主要爬虫仍是今年 2 月推出的爬虫系统 MSNBot 1.1。站长们无需更新 Robots.txt 文件,新版爬虫将以低速进行抓取。

有任何问题可以去 Live Search 的论坛提出。以下是官方推荐的相关内容:

Webmaster Center Blog: Another crawler in your logs

赞赏
2 条评论
  • 51xunxi

    这个是不是类似网络蜘蛛的东西啊

    2008 年 12 月 14 日 8:57 上午 回复

发表评论