随笔分类 -  Scrapy

Scrapy爬虫
Scrapyd部署爬虫
摘要：Scrapyd部署爬虫 准备工作 安装 ,安装完成以后将所在目录配置到环境变量中 开始部署 1. 修改 项目目录下的 文件，修改如下 2. 在任意目录下的打开终端，输入 ,观察是否运行成功，运行成功的话，就可以打开 看是否正常显示，如果正常显示则看到下面的这张图,这里的 是部署之后才能看到的，现在是 阅读全文
posted @ 2017-05-26 10:49 爱撒谎的男孩 阅读(356) 评论(0) 推荐(0)
Scrapy爬虫大战京东商城
摘要：Scrapy爬虫大战京东商城 引言 上一篇已经讲过怎样获取链接，怎样获得参数了，详情请看 "python爬取京东商城普通篇" 代码详解 首先应该构造请求，这里使用 "scrapy.Request" ,这个方法默认调用的是 构造请求，如果要改变默认的请求，那么必须重载该方法，这个方法的返回值必须是一个 阅读全文
posted @ 2017-05-26 10:29 爱撒谎的男孩 阅读(446) 评论(0) 推荐(0)
scrapy抓取淘宝女郎
摘要：scrapy抓取淘宝女郎 准备工作 首先在淘宝女郎的 "首页" 这里查看，当然想要爬取更多的话，当然这里要查看翻页的url,不过这操蛋的地方就是这里的翻页是使用javascript加载的，这个就有点尴尬了，找了好久没有找到，这里如果有朋友知道怎样翻页的话，麻烦告诉我一声，谢谢了...，不过就这样坐以 阅读全文
posted @ 2017-05-26 10:29 爱撒谎的男孩 阅读(369) 评论(0) 推荐(0)
scrapy配置
摘要：scrapy配置 增加并发 并发是指同时处理的request的数量。其有全局限制和局部(每个网站)的限制。 Scrapy默认的全局并发限制对同时爬取大量网站的情况并不适用，因此您需要增加这个值。 增加多少取决于您的爬虫能占用多少CPU。 一般开始可以设置为 100 。不过最好的方式是做一些测试，获得 阅读全文
posted @ 2017-05-26 10:28 爱撒谎的男孩 阅读(4846) 评论(0) 推荐(0)
scrapy中的下载器中间件
摘要：scrapy中的下载器中间件 下载中间件 下载器中间件是介于Scrapy的request/response处理的钩子框架。 是用于全局修改Scrapy request和response的一个轻量、底层的系统。 编写下载器中间件 1. 当每个 通过下载中间件时，该方法被调用。 必须返回其中之一: 返回 阅读全文
posted @ 2017-05-26 10:27 爱撒谎的男孩 阅读(521) 评论(0) 推荐(0)
scrapy设置"请求池"
摘要：scrapy设置"请求池" 引言 相信大家有时候爬虫发出请求的时候会被ban，返回的是403错误，这个就是请求头的问题，其实在python发出请求时，使用的是默认的自己的请求头，网站管理者肯定会不允许机器访问的，但是有些比较low的网站还是可以访问的，有时候网站管理者看到同一个请求头在一秒内请求多次 阅读全文
posted @ 2017-05-26 10:26 爱撒谎的男孩 阅读(573) 评论(0) 推荐(0)
Scrapy中使用cookie免于验证登录和模拟登录
摘要：Scrapy中使用cookie免于验证登录和模拟登录 引言 爬虫我认为最困难的问题一个是ip代理，另外一个就是模拟登录了，更操蛋的就是模拟登录了之后还有验证码，真的是不让人省心，不过既然有了反爬虫，那么就有反反爬虫的策略，这里就先介绍一个cookie模拟登陆，后续还有 模拟浏览器登录的文章。还不知道 阅读全文
posted @ 2017-05-26 10:25 爱撒谎的男孩 阅读(9045) 评论(0) 推荐(2)
scrapy代理的设置
摘要：scrapy代理的设置 在我的上一篇文章介绍了 "scrapy下载器中间件的使用" ,这里的scrapy 的代理就是用这个原理实现的，重写了下载器中间件的 这个函数,这个函数的主要作用就是对request进行处理。 话不多说直接撸代码 import random import scrapy impo 阅读全文
posted @ 2017-05-26 10:23 爱撒谎的男孩 阅读(4084) 评论(0) 推荐(0)
scrapy架构初探
摘要：scrapy架构初探 引言 Python即时网络爬虫启动的目标是一起把互联网变成大数据库。单纯的开放源代码并不是开源的全部，开源的核心是“开放的思想”，聚合最好的想法、技术、人员，所以将会参照众多领先产品，比如，Scrapy，ScrapingHub， "import io" 等。 本文简单讲解一下S 阅读全文
posted @ 2017-05-26 10:21 爱撒谎的男孩 阅读(244) 评论(0) 推荐(0)
scrapy初试
摘要：scrapy初试 创建项目 打开 ，在终端输入 ,这里将在指定的文件夹下创建一个 工程 其中将会创建以下的文件： : 项目的配置文件 : 该项目的python模块。之后您将在此加入代码。 : 项目中的item文件. : 项目中的pipelines文件. : 项目的设置文件. : 放置spider代码 阅读全文
posted @ 2017-05-26 10:20 爱撒谎的男孩 阅读(267) 评论(0) 推荐(0)