02 2019 档案

scrapy框架爬取笔趣阁完整版
摘要：继续上一篇,这一次的爬取了小说内容 ============================== pipelines.py import csv class ScrapytestPipeline(object): 爬虫文件中提取数据的方法每yield一次item，就会运行一次 该方法为固定名称函数 阅读全文

posted @ 2019-02-24 20:17 骑白马的Coder 阅读(517) 评论(0) 推荐(0)

scrapy框架爬取笔趣阁
摘要：笔趣阁是很好爬的网站了,这里简单爬取了全部小说链接和每本的全部章节链接,还想爬取章节内容在biquge.py里在加一个爬取循环,在pipelines.py添加保存函数即可 1 创建一个scrapy项目:crapy startproject biqugetest 2 cd biqugetest 3 生 阅读全文

posted @ 2019-02-22 09:36 骑白马的Coder 阅读(430) 评论(0) 推荐(0)

导航