2017年10月23日
简单分布式爬虫
摘要： # url管理器 # url管理器 import pickle import hashlib class UrlManager(): def __init__(self): self.new_urls = self.load_progress('new_urls.txt') # 未爬取url集合 self.old_urls = self.load_p... 阅读全文
posted @ 2017-10-23 22:06 Erick-LONG 阅读(482) 评论(0) 推荐(0)