小白写爬虫

写的第一个爬虫,基本思路:

定义 pageMax 方法 获取整体数据信息,最大页数

定义 request的方法获取单页数据

定义parse方法分析单页数据,提取items,存储在生成器yield中

定义search方法循环获取数据,保存在本地

 

 

 

另外,通过history文件记录抓取历史

saveImg对文件是否已存在做判断

posted @ 2018-07-20 08:43  白鸟飞尽  阅读(87)  评论(0)    收藏  举报