S++

千线一眼

导航

2022年3月23日 #

python爬虫-scrapy持久化存储

摘要: scrapy的持久化存储有两种:基于终端指令的和基于管道的 基于终端指令 限制: 只能将parse方法的返回值存储在本地的文本文件中 文件格式只能是,json、jsonlines、jl、csv、xml、marshal、pickle scrapy crawl 爬虫文件 -o 存储路径 基于管道 编码流 阅读全文

posted @ 2022-03-23 20:56 S++ 阅读(112) 评论(0) 推荐(0)

python爬虫-scrapy数据解析

摘要: 一般的数据解析 首先创建工程 cd study_scrapy/ # 进入要创建工程的目录 scrapy startproject study_scrapy02 # 创建工程 cd study_scrapy02/ # 进入工程 scrapy genspider gushi www.xxx.com # 阅读全文

posted @ 2022-03-23 20:41 S++ 阅读(167) 评论(0) 推荐(0)