文章分类 -  爬虫相关

摘要： 阅读全文

摘要：往集合set（）中添加，添加失败返回0，表示已经存在 import redis conn = redis.Redis(host='127.0.0.1',port=6379) # 1.集合基本操作 # 1表示：添加成功 # 0表示：已经存在 # v = conn.sadd('xxxxxx','xl') 阅读全文

摘要：http://www.cnblogs.com/wupeiqi/articles/6912807.html 参考大王博客 阅读全文

摘要：http://www.cnblogs.com/wupeiqi/articles/6229292.html 参考大王博客 scrapy是个什么鬼？ - 帮我们提供一个可扩展功能齐全的爬虫框架。 Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 阅读全文