导言：一位开发者在观察中发现一个特殊的IP地址在扫描他的站点。该IP地址为65.54.188.86，经查该地址由微软公司注册。但是该IP地址在抓取网络服务器的同时并没有发送它的基本头部信息如Http robot名称或者身份信息甚至没有透露浏览器名称。
SEO专家Jason Dowdell在收到这份用户质疑后怀疑，微软刚刚推出的MSN 搜索引擎有可能在索引并“使用”Google的搜索结果。以下是他在自己博客站点上发表的评论。
该地址一直在索引已经不存在的网页，以3－5秒钟索引一张网页的速度持续工作。这种现象使其看起来更像是搜索引擎的爬行程序，因为搜索引擎蜘蛛程序一般安装一定的间隔时间抓取网站内容并通常会返回重新抓取前次索引漏掉的URL。该地址的索引工作从早上7:37一直持续到下午12:00才结束。
该爬行者留下的数据msnbot/0.3 (+http://search.msn.com/msnbot.htm) 证明了它的身份。
这确实是件匪夷所思的事情，不仅因为该来访者访问的是些已经不存在的网页，更重要的是这些网页仅能通过“site:www.sitename.com”命令在Google的搜索结果中找到。同样的搜索引擎并不能在MSN搜索上找到这些网页，即使是微软最新推出的MSN搜索引擎测试版。但是仅仅在这个访问者离开后几个小时，微软的新搜索引擎便可以给出同样搜索请求下的全部已被索引的URL结果。
一直以来MSN搜索引擎规定网站必须付费才能被其蜘蛛程序索引并收录进数据库。直到几个月之前MSN宣布不再使用收费方式，开始对整个网络免费索引。不过，这并不是一件容易的工作。所以我认为MSN正在使用Google甚至也包括雅虎已经索引的网页，以此来填补当前MSN搜索引擎相对较低的网页存储量。
首先返回网站上相关网页结果的最快方式。当然它完全可以直接对网站进行索引，但是这样做的前提就是必须首先存储下上亿上万的复制网页以及那些虽然看起来地址不同但是内容相同的网页。索引Google的结果不仅可以节省带宽而且完全不用处理复制网页内容的工作。
其次，索引Google的结果还可以作为新的MSN搜索引擎的定性估量标准。微软搜索发布之时已经为每个网站创建了网页基线数量，并且在未来6个月进行常规对比，最后就可以得出他们的搜索引擎是否正在像Google那样寻找并索引相同的链接及链接数量。我们可以把这种行为称之为竞争分析或者其他什么。
当然我的结论只能作为一家之言，但是也确实存在这种可能。微软完全可以很好的隐蔽自己做到对Google已经索引URL的抓取，甚至可以做到使用他的API,LOL。我还不能断定如果事实存在是否会产生商业上的法律纠纷 。这就好像是随处乱仍垃圾的事情一样，也可能会被发现并受到处罚。一旦事情败露，我敢保证Google的律师肯定会对这样的公平竞争提出更多的说法。
转自：SEO网站