随笔分类 -  000 —— 数据抓取

Python爬虫 —— 抓取美女图片(Scrapy篇)
摘要:杂谈: 之前用requests模块爬取了美女图片,今天用scrapy框架实现了一遍。 (图片尺度确实大了点,但老衲早已无恋红尘,权当观赏哈哈哈) Item: Spider: PipeLine: 阅读全文

posted @ 2018-06-29 21:44 h_z_cong 阅读(710) 评论(0) 推荐(0)

爬取豆瓣古典文学(数据库存储)
摘要:杂谈: 爬取豆瓣读书的古典文学专栏,提取了主要的七个字段,然后将数据保存到sqlite中。 由于没有使用IP代理,导致爬到差不多第一千本书的时候被豆瓣暂时封了IP。因此接下来就要研究如何使用IP代理了。 爬取数据: 代码如下: 阅读全文

posted @ 2018-06-21 18:58 h_z_cong 阅读(298) 评论(0) 推荐(0)

Python爬虫 —— 知乎之selenium模拟登陆获取cookies+requests.Session()访问+session序列化
摘要:代码如下: 阅读全文

posted @ 2018-06-11 22:53 h_z_cong 阅读(4329) 评论(0) 推荐(0)

Python爬虫 —— 抓取美女图片
摘要:代码如下: 阅读全文

posted @ 2018-06-11 12:00 h_z_cong 阅读(701) 评论(0) 推荐(0)

导航