摘要：
scrapy的高性能持久化存储操作 基于终端指令的持久化存储 保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作。 import scrapy class QiushiSpider(scrapy.Spider) 阅读全文
摘要：
一、scrapy基本使用 1.1 环境安装： linux和mac操作系统： pip install scrapy windows系统： pip install wheel 下载twisted，下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twiste 阅读全文