随笔分类 -  爬虫

增量式爬虫
摘要：增量式爬取 概念：监控网站数据更新的情况，以便于爬取到最新更新出来的数据。 实现核心：去重 实战中去重的方式：记录表 记录表需要记录什么？记录的一定是爬取过的相关信息。 爬取过的相关信息：例如每一步电影的详情页的url 只需要使某一组数据，改组数据可以作为该部电影的唯一标识即可，刚好电影详情页的ur 阅读全文
posted @ 2020-04-13 23:26 zz洲神在此 阅读(310) 评论(0) 推荐(0)
分布式爬虫
摘要：分布式爬虫 实现方式：scrapy+redis(scrapy结合这scrapy redis组件) 原生的scrapy框架是无法实现分布式 需要搭建一个分布式的机群，让后让机群中的每一台电脑执行同一组程序，让其对同一组资源 进行联合且分布的数据爬取。 为什么原生的scrapy框架无法实现分布式 1.调 阅读全文
posted @ 2020-04-13 23:24 zz洲神在此 阅读(221) 评论(0) 推荐(0)
crawlscrapy框架
摘要：crawlscrapy 其实他是Spider的一个子类，Spider爬虫文件中爬虫类的父类 子类的功能一定是多余父类的 作用：被用作与专业实现全站数据爬取 将一个页面下所有页面对应的数据进行爬取 基本使用： 1.创建一个工程 2.cd 工程 3.创建一个基于CrawlSpider的爬虫文件 scra 阅读全文
posted @ 2020-04-13 23:17 zz洲神在此 阅读(475) 评论(0) 推荐(0)
scrapy框架五大核心组件
摘要：爬虫五大核心组件 请求传参的实现深度爬取 代码实现： 中间件 作用：批量拦截请求和响应 爬虫中间件（暂时未讲） 下载中间件（推荐） 拦截请求： 篡改请求Url 伪装请求头信息 UA cookie 设置请求代理（重点） 拦截响应 篡改响应数据 代理操作必须使用中间件才可以实现 process_exce 阅读全文
posted @ 2020-04-13 23:05 zz洲神在此 阅读(1260) 评论(0) 推荐(0)
scrapy框架初步使用
摘要：scrapy框架 简介：所谓的框架就是集合一个很多功能且具有很强的通用性的一个项目模板 scrapy：是一个专门用于异步爬虫的框架 高性能的数据解析。请求发送。持久化存储，全站数据爬取，中间件，分布式。。。 环境安装： mac,linux:pip install scrapy windows: 首先 阅读全文
posted @ 2020-04-12 22:26 zz洲神在此 阅读(183) 评论(0) 推荐(0)
JS解密+混淆破解
摘要：JS解密+混淆破解 爬取的网站：https://www.aqistudy.cn/html/city_detail.html 更清晰的查看博客：博客地址：https://www.cnblogs.com/bobo zhang/p/11243138.html 分析： 1.修改查询条件（城市的名称+时间范围 阅读全文
posted @ 2020-04-12 22:04 zz洲神在此 阅读(11671) 评论(2) 推荐(2)
基于selenium实现自动化爬取数据
摘要：基于selenium实现自动化爬取数据 如果想具体查看selenium自动化模块的更多功能请看我的博客测试分类中有介绍 selenium 概念：基于浏览器自动化的模块 自动化：可以通过代码指定一系列的行为动作，然后将其作用到浏览器中。 pip install selenium selenium和爬虫 阅读全文
posted @ 2020-04-12 21:55 zz洲神在此 阅读(1477) 评论(0) 推荐(0)
asyncio异步模块
摘要：线程池实现爬取数据 协程基础 概念部分 代码部分 多任务操作 多任务的异步爬虫 阅读全文
posted @ 2020-04-12 21:42 zz洲神在此 阅读(283) 评论(0) 推荐(0)
短视频爬取及blob反扒
摘要：爬取梨视频中的短视频数据 以上获取梨视频发现他是动态加载的video中src的url地址。所以我们无法可见即可得。 经过抓包工具中发的get请求中response选项卡中发现srcUrl中有这个src属性。并且里面得网址就是需要的视频数据网址。所以找到那块标签获取text文本内容，通过正则筛选出来u 阅读全文
posted @ 2020-04-12 21:13 zz洲神在此 阅读(3787) 评论(0) 推荐(0)
反扒机制代理操作及验证码的识别
摘要：反扒机制：代理操作 代理操作： 在爬虫中，所谓的代理指的是什么？ 就是代理服务器 代理服务器的作用： 就是用来转发请求和响应的 在爬虫中为什么需要使用代理服务器： 如果我们的爬虫对服务器短时间内发出高频请求。那么服务器检测到这样一个异常请求，就会将该请求的对应设备IP禁掉，这样就无法给服务器发请求获 阅读全文
posted @ 2020-04-12 21:08 zz洲神在此 阅读(676) 评论(0) 推荐(0)
数据解析(bs4及paxth讲解)
摘要：数据解析 正则 bs4 xpath（常用) 如何爬取图片数据？ 方式1：基于requests 方式2：基于urllib urllib模块作用和requests模块一样，都是基于网络请求的模块。 当requests问世后就迅速的替代了urllib模块 重点： 上述两种爬取图片操作不同之处在于使用url 阅读全文
posted @ 2020-04-12 20:54 zz洲神在此 阅读(534) 评论(0) 推荐(0)
爬取动态加载的数据
摘要：动态加载的数据 例子1：爬取豆瓣电影中的电影详情数据 url:https://movie.douban.com/ 1.什么是动态加载的数据： 我们通过requests模块进行数据爬取无法每次都是可见即可得，有些数据是通过非浏览器地址栏中得url请求到的地址。而是其他请求请求到的数据，那么这些通过其他 阅读全文
posted @ 2020-04-12 19:56 zz洲神在此 阅读(1053) 评论(0) 推荐(0)
reuqest模块及UA反扒机制
摘要：requests模块 爬虫中一个基于网络请求的模块 pip install requests 作用：模拟浏览器发起请求 编码流程： 1 . 指定url 2 . 发起请求 3 . 获取响应数据（爬取到的页面源码数据） 4 . 进行持久化存储 简单例子： 实现一个简易网页采集器 基于搜狗针对指定不同的关 阅读全文
posted @ 2020-04-12 19:53 zz洲神在此 阅读(420) 评论(0) 推荐(0)
Anacanda开发环境及爬虫概述
摘要：Anacanda开发环境 Anaconda是基于数据分析和机器学习的集成环境给我们集成好了数据分析和机器学习对应的各种环境和模块）。 jupyter：是Anaconda集成环境提供的基于浏览器可视化的编码工具 注意事项 在环境搭建的时候只需要安装Anaconda即可，安装路径必须是纯英文的，且不可以 阅读全文
posted @ 2020-04-12 19:42 zz洲神在此 阅读(886) 评论(0) 推荐(0)