摘要: 有想法重写了。把一些结构写出来。。class Crawler(object): def __init__(self,url,depth,threadNum,dbfile,key): #要获取url的队列 self.urlQueue = Queue() #读取的html队列 self.htmlQueue = Queue() #已经访问的url self.readUrls = [] #未访问的链接 self.links = [] #线程数 self.threadNum = threadNum ... 阅读全文
posted @ 2014-03-11 17:31 墨迹哥's 阅读(356) 评论(0) 推荐(0)