2017年11月4日
摘要: 编写scrapy爬虫的具体流程最初:分析网站页面需要爬取的结构第一步:创建scrapy项目:scrapy startproject +文件名第二步:打开项目第三步:编写items.py第四步:创建爬虫文件(基础爬虫文件创建指令:scrapy genspider + 爬虫名 +"网站名")第五步:编写 阅读全文
posted @ 2017-11-04 21:35 最爱小酒吞 阅读(101) 评论(0) 推荐(0)
  2017年11月1日
摘要: 今天是学习的第一天: 知识总结如下: 1,调试器相当于原料出口地(URL提供) 2,scrapy相当于中间加工商(具有销售权利)封装URL为request(请求) 3,下载器使用request(请求)下载资源,封装成应答包(response) 4,spider 解析response 5,解析出实体( 阅读全文
posted @ 2017-11-01 10:26 最爱小酒吞 阅读(70) 评论(0) 推荐(0)