随笔分类 -  spider framework

摘要：一、问题环境安装 首先scrapy这个爬虫框架是基于twisted完成的因此，在安装scrapy之前需要安装twisted。否则直接安装scrapy就会直接出错：Failed building wheel for twisted。 二、解决首先下载twisted的.whl文件，也包括其他的包可以下载 阅读全文

摘要：how to chanage the file of scrapy to csv or json file， we used the commond that is "scrapy crawl 【parse_file_name】 -o 【filename】+ .json/.csv" Waring: 阅读全文