Live Search 团队将在接下来的几周里测试 Live Search 的新版爬虫 MSNBot 2.0，新爬虫的 UA 串为：
msnbot/2.0b (+http://search.msn.com/msnbot.htm)
在测试期间，Live Search 的主要爬虫仍是今年 2 月推出的爬虫系统 MSNBot 1.1。站长们无需更新 Robots.txt 文件，新版爬虫将以低速进行抓取。
有任何问题可以去 Live Search 的论坛提出。以下是官方推荐的相关内容：
- Robots Exclusion Protocol: Joining Together to Provide Better Documentation
- Announcing Crawler Improvements for Live Search
- Search robots in disguise
Webmaster Center Blog: Another crawler in your logs
2 条评论
51xunxi
这个是不是类似网络蜘蛛的东西啊
2008 年 12 月 14 日 8:57 上午
评论当前被关闭。