大江东去，浪淘尽，千古风流人物。故垒西边，人道是，三国周郎赤壁。乱石穿空，惊涛拍岸，卷起千堆雪。江山如画，一时多少豪杰。遥想公瑾当年，小乔初嫁了，雄姿英发。羽扇纶巾，谈笑间，樯橹灰飞烟灭。故国神游，多情应笑我，早生华发。人生如梦，一尊还酹江月。

人生苦短 我用Python

扩大
缩小

随笔分类 -  012-工程化爬虫

上一页 1 2

网络请求 Requests
摘要：网络请求 Requests url: 就是需要请求，并进行下一步处理的urlcallback: 指定该请求返回的Response，由那个函数来处理。method: 一般不需要指定，使用默认GET方法请求即可headers: 请求时，包含的头文件。一般不需要。内容一般如下：使用 urllib2 自己写 阅读全文

posted @ 2019-04-26 14:27 GuoZeping 阅读(178) 评论(0) 推荐(0)

Scrapy 代理IP
摘要：Scrapy 代理IP 一、Scarpy使用代理IP 1.在setting.py 配置 代理服务器IP 2.在middlermares.py 配置 downloadmiddlermare(下载中间件) Scrapy代理IP、User-Agent的切换都是通过DOWNLOADER_MIDDLEWARE 阅读全文

posted @ 2019-04-25 13:50 GuoZeping 阅读(432) 评论(0) 推荐(0)

Scrapy 原理
摘要：Scrapy 原理 一、原理 scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列程序中。 二、工作流程 Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler 阅读全文

posted @ 2019-04-25 13:25 GuoZeping 阅读(988) 评论(0) 推荐(0)

创建项目/执行
摘要：创建项目 一、创建项目 1.conda创建环境 1）安装anaconda后，使用conda向指定工作目录下创建虚拟环境； 命令：conda create --prefix=w:\work_preject\Scrapy_project\venv python=3.6 解释：在工作目录下，首先创建con 阅读全文

posted @ 2019-04-23 10:51 GuoZeping 阅读(298) 评论(0) 推荐(0)

上一页 1 2

导航