不要妄想用robots.txt文件来来阻止百度的收录
这是我用我的真实经历告诉大家，有图有真像。在这之前我和在坐的各位一样，以为写个robots.txt就万事大吉了，就可以安心的调试网站了。但往往要等百度收录了才后悔，原来当初自己错了，robots.txt写禁止收录的规则对百度没用。
ps直接上图先，大家仔细看图，重点看域名，如果不是看域名的话，估计你会把这快照看成是新浪首页的快照呢!看到这里可能有的站长要疑惑了，有的站长要笑。大家一定很想知道这种情况是如何造成的吧?
其实是这样的，那天我也就是想去测试下自己买的集群主机的速度怎么样，于是下载了个新浪首页上放到空间上绑定后进行了测试。结果测完后就甩了个robots.txt文件上去，本就以为这样就可以万事大吉了，谁知道度娘她不吃这一套，对我的站那是照收不误。结果就这样悲剧了，我现在还不知道，如果我新站上线后那直接就是另一个站了，我现在还整天担心如果要是直接上新站的话，度娘会把我K了，或者降权呢!
现在没办法，咨询了下我萧涵老师后，他老人家告诉我，首页标题里加了个
;现在还好百度停止更新快照了。
后来又找了些资料，分析了下原来是新站上外链惹的祸，因为之前没注意看百度官方对这文件给的介绍。在百度搜索帮助中心-禁止搜索引擎收录的方法中第三条中这样写到：“我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中?”答：如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。
所以咱们站长一定要注意了，如果大家在新站调试期间想要让网站不被显示在百度快照上的话，在网站建设期间请不要把域名地址放在百度蜘蛛可能会爬行的地方，例如大部份站长最喜欢设置的论坛个性签名里，这样有时候会不知不觉中就把外链又发出去了。
本文作者：杨雪松，欢迎转载，转载可以不留名，但务必请保留下链接：www.weibogg.com
