2019年2月12日
摘要: 本篇文章我们以抓取历史天气数据为例,简单说明数据抓取的两种方式: 1、一般简单或者较小量的数据需求,我们以requests(selenum)+beautiful的方式抓取数据 2、当我们需要的数据量较多时,建议采用scrapy框架进行数据采集,scrapy框架采用异步方式发起请求,数据抓取效率极高。 阅读全文
posted @ 2019-02-12 21:34 liangxb 阅读(1732) 评论(0) 推荐(0) 编辑
  2019年2月11日
摘要: 创建scrapy项目 填充 item.py文件 在这里定义想要存储的字段信息 填充middlewares.py文件 中间件主要实现添加随机user-agent的作用。 填充pipelines.py文件 将我们爬取到的结果存储在mongo数据库中 设置settings.py文件 下面的这些信息需要简单 阅读全文
posted @ 2019-02-11 22:32 liangxb 阅读(551) 评论(0) 推荐(1) 编辑
摘要: 今天的主要内容是爬取豆瓣电影短评,看一下网友是怎么评价最近的电影的,方便我们以后的分析,以以下三部电影:二十二,战狼,三生三世十里桃花为例。 由于豆瓣短评网页比较简单,且不存在动态加载的内容,我们下面就直接上代码。有一点需要注意的是,豆瓣短评的前几页不需要登录就可以看,但是后面的内容是是需要我们登录 阅读全文
posted @ 2019-02-11 22:31 liangxb 阅读(663) 评论(0) 推荐(0) 编辑
摘要: 在上一小节中,我们已经提取到了房源的具体信息,这一节中,我们主要是对提取到的数据进行后续的处理,以及进行相关的设置。 数据处理 我们这里以把数据存储到mongo数据库为例。编写pipelines.py文件 非常简单的几步,就实现了将数据保存到mongo数据库中,所以说mongo数据库还是非常好用的。 阅读全文
posted @ 2019-02-11 22:30 liangxb 阅读(969) 评论(0) 推荐(0) 编辑
摘要: 今天,我们就以链家网南京地区为例,来学习爬取链家网的成交房源数据。 这里推荐使用火狐浏览器,并且安装firebug和firepath两款插件,你会发现,这两款插件会给我们后续的数据提取带来很大的方便。 首先创建一个名称为lianjia的项目。 需求分析 爬取数据的第一步当然是确定我们的需求,大方向就 阅读全文
posted @ 2019-02-11 22:29 liangxb 阅读(1640) 评论(0) 推荐(0) 编辑
摘要: 参考:https://www.cnblogs.com/small-bud/p/9064674.html 和selenium登录51job的例子 阅读全文
posted @ 2019-02-11 22:27 liangxb 阅读(638) 评论(0) 推荐(0) 编辑
摘要: 当我们需要大量的爬取网站信息时,除了切换User-Agent之外,另外一个重要的方式就是设置IP代理,以防止我们的爬虫被拒绝,下面我们就来演示scrapy如何设置随机IPProxy。 设置随机IPProxy 同样的你想要设置IPProxy ,首先需要找到可用的IPProxy ,通常情况下,一些代理网 阅读全文
posted @ 2019-02-11 22:22 liangxb 阅读(8369) 评论(0) 推荐(1) 编辑
摘要: 大多数情况下,网站都会根据我们的请求头信息来区分你是不是一个爬虫程序,如果一旦识别出这是一个爬虫程序,很容易就会拒绝我们的请求,因此我们需要给我们的爬虫手动添加请求头信息,来模拟浏览器的行为,但是当我们需要大量的爬取某一个网站的时候,一直使用同一个User-Agent显然也是不够的,因此,我们本节的 阅读全文
posted @ 2019-02-11 22:21 liangxb 阅读(1771) 评论(0) 推荐(0) 编辑
摘要: Media Pipeline Scrapy为下载item中包含的文件(比如在爬取到产品时,同时也想保存对应的图片)提供了一个可重用的 item pipelines . 这些pipeline有些共同的方法和结构(称之为media pipeline)。我们可以使用FilesPipeline和Images 阅读全文
posted @ 2019-02-11 22:20 liangxb 阅读(795) 评论(0) 推荐(0) 编辑
摘要: 下载器中间件是介于Scrapy的request/response处理的钩子框架,是用于全局修改Scrapy request和response的一个轻量、底层的系统。 激活Downloader Middleware 要激活下载器中间件组件,将其加入到 DOWNLOADER_MIDDLEWARES 设置 阅读全文
posted @ 2019-02-11 22:20 liangxb 阅读(1010) 评论(0) 推荐(0) 编辑