随笔分类 -  爬虫

scrapy框架
摘要：1. 安装scrapy模块 2. 创建一个scrapy项目 在终端中执行下面命令创建一个scrapy项目 3. 创建一个scrapy爬虫 4. scrapy框架的目录结构 5. 爬虫文件 6. scrapy数据持久化 在scrapy中对数据进行持久化存储需要用到item, 因为管道中只能对item对 阅读全文
posted @ 2018-12-04 22:21 王剑威 阅读(485) 评论(0) 推荐(0)
爬虫之requests模块
摘要：安装requests模块 requests模块的常用方法, 属性, 参数 爬虫案例一: 爬取搜狗指定词条搜索后的页面数据 爬虫案例二: 爬取豆瓣电影分类排行榜中的电影详情数据 爬虫案例三: 爬取肯德基餐厅查询中指定地点的餐厅数据 爬虫案例四: 药监局信息爬取 阅读全文
posted @ 2017-12-04 19:07 王剑威 阅读(270) 评论(0) 推荐(0)