摘要: 持久化存储操作: a.磁盘文件 a) 基于终端指令 i. 保证parse方法返回一个可迭代类型的对象(存储解析到的页面内容) ii. 使用终端指令完成数据存储到指定磁盘文件的操作 1. scrapy crawl 爬虫文件名称 -o 磁盘文件.后缀 如(test.csv) b)基于管道 i. item 阅读全文
posted @ 2018-12-13 17:39 Corey0606 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 1.创建一个工程: scrapy startproject 工程名称 1. 目录结构: 2.在工程目录下创建一个爬虫文件 1.cd 工程 2. scrapy genspider 爬虫文件的名称 起始的url 3.对应的文件中编写爬虫程序来完成爬虫的相关操作 4.配置文件的编写 修改 将setting 阅读全文
posted @ 2018-12-13 09:54 Corey0606 阅读(140) 评论(0) 推荐(0) 编辑