每天清理一次自己的大脑，简单≠容易
腾讯SOSO为了扩充自己的索引量，已经无视Robots.txt（也许从来没遵守过）。测试的一个目录，在协议中禁抓了也被收录了！
posted on 2010-02-25 09:32 pittzh 阅读(240) 评论(1) 编辑 收藏 举报
