大江东去，浪淘尽，千古风流人物。故垒西边，人道是，三国周郎赤壁。乱石穿空，惊涛拍岸，卷起千堆雪。江山如画，一时多少豪杰。遥想公瑾当年，小乔初嫁了，雄姿英发。羽扇纶巾，谈笑间，樯橹灰飞烟灭。故国神游，多情应笑我，早生华发。人生如梦，一尊还酹江月。

人生苦短 我用Python

扩大
缩小

Scrapy 数据存储 图片和文件

Scrapy 数据存储 图片和文件

pics_down = requests.get(item['cover'])
with open('W:\pcis\{}.jpg'.format(item['title']),'wb') as f:
    f.write(pics_down.content)
f = open('W:\pcis\{}.jpg'.format(item['title']), 'rb')
item['cover'] = f.read()
f.close()
item['cover'] = str(base64.b16encode(item['cover']))  # 防止数据库转码

scrapy crawl dd(爬虫名称)
# Scrapy中有Medie Pipeline  可以帮助我们下载图片和文件
scrapy crawl dd -o test.json  json文件
scrapy crawl itcast -o teachers.jsonl  json lines格式
scrapy crawl dd -o test.csv  csv文件
scrapy crawl dd -o 'ftp://USER:PASSSWORD@xxxx.com/test.json'  FTP文件服务器

posted on 2019-05-23 01:22  GuoZeping  阅读(521)  评论(0)  编辑  收藏  举报

导航