2013年6月27日
C#开源爬虫NCrawler源代码解读以及将其移植到python3.2（3）
摘要： 在将程序移植到python之前,先来复习一下python的多线程编程的相关知识。请看下面的一段代码：import timeimport threadingimport urllib.requestimport queueclass ThreadUrl(threading.Thread): de... 阅读全文
posted @ 2013-06-27 17:29 爱知菜 阅读(187) 评论(0) 推荐(0)
C#开源爬虫NCrawler源代码解读以及将其移植到python3.2（2）
摘要： 在上一篇中,我们提到了管道这个概念(pipeline),其实所有的管道都实现了同一接口叫 public interface IPipelineStep { void Process(Crawler crawler, PropertyBag propertyBag); }所有爬到的网址都将被构造Cr... 阅读全文
posted @ 2013-06-27 10:16 爱知菜 阅读(179) 评论(0) 推荐(0)