随笔分类 - 000 —— 数据抓取

Python爬虫 —— 抓取美女图片（Scrapy篇）

摘要：杂谈：之前用requests模块爬取了美女图片，今天用scrapy框架实现了一遍。（图片尺度确实大了点，但老衲早已无恋红尘，权当观赏哈哈哈） Item: Spider: PipeLine: 阅读全文

posted @ 2018-06-29 21:44 h_z_cong 阅读(710) 评论(0) 推荐(0)

爬取豆瓣古典文学（数据库存储）

摘要：杂谈：爬取豆瓣读书的古典文学专栏，提取了主要的七个字段，然后将数据保存到sqlite中。由于没有使用IP代理，导致爬到差不多第一千本书的时候被豆瓣暂时封了IP。因此接下来就要研究如何使用IP代理了。爬取数据：代码如下：阅读全文

posted @ 2018-06-21 18:58 h_z_cong 阅读(298) 评论(0) 推荐(0)

Python爬虫 —— 知乎之selenium模拟登陆获取cookies+requests.Session()访问+session序列化

摘要：代码如下：阅读全文

posted @ 2018-06-11 22:53 h_z_cong 阅读(4329) 评论(0) 推荐(0)

Python爬虫 —— 抓取美女图片

摘要：代码如下：阅读全文

posted @ 2018-06-11 12:00 h_z_cong 阅读(701) 评论(0) 推荐(0)

导航

公告