随笔分类 -  爬虫

爬虫(四)之分布式爬虫
摘要：01-基于Redis的分布式爬虫（基于RedisCrawlSpider类） 修改配置文件 将起始url 放到 调度器队列中 查看爬取结果 02-UA池 03-代理池 04-selenium在scrapy中的应用 ·需求：爬取的是基于文字的新闻数据（国内，国际，军事，航空） # -*- coding: 阅读全文
posted @ 2018-12-20 09:49 huangyanpeng 阅读(526) 评论(0) 推荐(0)
爬虫(三)之scrapy核心组件
摘要：01-核心组件 ·五大核心组件的工作流程： 02-post请求 03-cookie操作 04-代理 05-日志等级 06-请求传参（meta） 解决问题：爬取的数据值不在同一个页面。 需求：将id97电影网站中的电影详情数据进行爬取 07-CrawlSpider 阅读全文
posted @ 2018-12-12 09:13 huangyanpeng 阅读(269) 评论(0) 推荐(0)
爬虫(二)之scrapy框架
摘要：01-scrapy介绍 02-项目的目录结构： 03-配置文件settings.py的配置 04-创建项目和爬虫文件 05-执行 06-基于终端指令的持久化存储 07-基于管道的持久化存储 08-基于MySQL的持久化存储 09-基于redis的持久化存储 10-管道的高级操作 11-就多个url的 阅读全文
posted @ 2018-12-04 16:12 huangyanpeng 阅读(223) 评论(0) 推荐(0)
爬虫(一)
摘要：01-安装Jupyter Notebook 安装Jupyter Notebook的前提是Python的版本在3.3以上（或2.7版本） 通过安装Anaconda，来解决安装Jupyter Notebook的问题。 安装Anaconda 官网：https://www.anaconda.com/down 阅读全文
posted @ 2018-12-04 09:35 huangyanpeng 阅读(636) 评论(0) 推荐(0)