STORING THE SCRAPED DATA

Feed exports 存储 scrapy 爬取的数据

 

 scrapy crawl quotes -O quotes.json           

 -O 参数的命令会存储数据到文件时会进行覆写

命令将生成 quotes.json 文件存储数据进去并序列化为 json 格式，

 

 

scrapy crawl quotes -o quotes.jl           

 -o 参数的命令会存储数据到文件时会在已有文件中增加内容,  然而增加内容在 JSON 文件里会使 JSON 格式错误。

 因此，当考虑到向文件中增加文件时，应该使用 JSON Lines 。在小项目中 .jl 使用足够了，如有必要可用  item Pipeline component。