Fork me on GitHub
2015年6月27日
【转】Duplicate Elimination in Scrapy
摘要： 本文转载自：http://blog.pluskid.org/?p=381 之前介绍 Scrapy的时候提过 Spider Trap ，实际上，就算是正常的网络拓扑，也是很复杂的相互链接，虽然我当时给的那个例子对于我感兴趣的内容是可以有一个线性顺序依次爬下来的，但是这样的情况在真正的网络结构中通... 阅读全文
posted @ 2015-06-27 10:32 秋楓 阅读(928) 评论(0) 推荐(0)