随笔分类 -  python之爬虫系列

基于scrapy-redis的分布式爬虫
摘要：1、scrapy框架是否可以自己实现分布式？ 答：不可以。原因有二： 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存 阅读全文
posted @ 2019-03-05 20:45 中杯可乐不加冰 阅读(181) 评论(0) 推荐(0)
增量式爬虫
摘要：思考： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程序以便能爬取到网站中最近更新的数据呢？ 阅读全文
posted @ 2019-03-05 20:28 中杯可乐不加冰 阅读(151) 评论(0) 推荐(0)
Pyhton网络爬虫之CrawlSpider
摘要：一、什么是CrawlSpider？ 在学习CrawlSpider之前如果我们想爬取某网站前100页的内容的话，我们可以使用的方法是通过Request模块手动发起请求，递归调用parse方法，写起来非常麻烦，效率不高，CrawlSpider其实是Spider的一个子类，除了继承到Spider的特性和功 阅读全文
posted @ 2019-03-05 20:17 中杯可乐不加冰 阅读(303) 评论(0) 推荐(0)
Scrapy 之如何发送post请求
摘要：import scrapy import json class PostSpider(scrapy.Spider): name = 'post' # allowed_domains = ['www.xxx.com'] start_urls = ['https://fanyi.baidu.com/sug'] def start_requests(self): ... 阅读全文
posted @ 2019-03-04 21:55 中杯可乐不加冰 阅读(336) 评论(0) 推荐(0)
Scrapy 之settings配置
摘要：BOT_NAME 默认: 'scrapybot' 当您使用 startproject 命令创建项目时其也被自动赋值。 BOT_NAME 默认: 'scrapybot' 当您使用 startproject 命令创建项目时其也被自动赋值。 ROBOTSTXT_OBEY = False 是否遵守rebot 阅读全文
posted @ 2019-03-04 21:47 中杯可乐不加冰 阅读(189) 评论(0) 推荐(0)
Scrapy 实现爬取多页数据 + 多层url数据爬取
摘要：项目需求：爬取https://www.4567tv.tv/frim/index1.html网站前三页的电影名称和电影的导演名称 项目分析：电影名称在初次发的url返回的response中可以获取，可以通过对url进行字符串拼接的方式动态获取前三页的url，但是导演名称必须点击具体电影的链接地址才可以 阅读全文
posted @ 2019-03-04 21:38 中杯可乐不加冰 阅读(5654) 评论(0) 推荐(0)
Scrapy 框架入门简介
摘要：一、Scrapy框架简介 Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 通常我们可以很简单的通过 Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。 二、Scrap 阅读全文
posted @ 2019-03-04 21:23 中杯可乐不加冰 阅读(286) 评论(0) 推荐(0)
Python网络爬虫之cookie处理、验证码识别、代理ip、基于线程池的数据爬去
摘要：本文概要 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 引入 有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： 一.基于request 阅读全文
posted @ 2019-02-28 21:40 中杯可乐不加冰 阅读(603) 评论(0) 推荐(0)
Python网络爬虫之图片懒加载技术、selenium和PhantomJS
摘要：本文概要: 图片懒加载 selenium phantomJs 谷歌无头浏览器 一、图片懒加载 什么是图片懒加载？ 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # -*- coding:utf-8 -*- import re 阅读全文
posted @ 2019-02-28 21:09 中杯可乐不加冰 阅读(311) 评论(0) 推荐(0)
Python网络爬虫之三种数据解析方式
摘要：requests实现数据爬取的流程： 三种数据解析方式 一、正解解析 常用正则表达式回顾： 常用正则表达式回顾： 回顾练习： 回顾练习： 项目练习： 爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中 项目练习： 二、Xpath解析 测试页面数据 常用xpath表达式回顾 常用xpath表达式回顾 阅读全文
posted @ 2019-02-27 19:47 中杯可乐不加冰 阅读(630) 评论(0) 推荐(0)
完美解决Python与anaconda之间的冲突问题
摘要：anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda 的下载文件比较大（约 515 MB），如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版（仅包含con 阅读全文
posted @ 2019-02-27 13:08 中杯可乐不加冰 阅读(2000) 评论(0) 推荐(0)