EricYJChung - 博客园

2022年5月30日

摘要：本案例为学习研究,不可做非法用途使用! 本案例使用的是普通的lxml,requests模块结合抓包工具做的抓取. 后续有selenium能够更好的满足需求案例需求: 获取梨视频生活页面的热点视频数据,提取对应视频的真实下载地址. 页面分析: 直接打开开发者工具,查看页面源码,分析出页面get请求可阅读全文

posted @ 2022-05-30 18:37 EricYJChung 阅读(528) 评论(0) 推荐(0)

爬虫--高性能异步爬虫

摘要：目的:在爬虫中使用异步实现高性能的数据爬取操作 # 单线程下的串行数据爬取 1.阻塞式的爬虫 2.依次,单线程,效率低 import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Apple 阅读全文

posted @ 2022-05-30 14:14 EricYJChung 阅读(112) 评论(0) 推荐(0)

爬虫--模拟登录

摘要：模拟登录流程: 对点击登录按钮对应的请求进行发送(post请求) 处理请求参数: --用户名 --密码 --验证码 --其他的防伪参数模拟登录cookie操作: 1.手动cookie处理通过抓包工具获取cookie值,将该值封装到headers中 2.自动处理cookie 模拟登录post请求后阅读全文

posted @ 2022-05-30 13:04 EricYJChung 阅读(140) 评论(0) 推荐(0)

爬虫--验证码识别

摘要：验证码与爬虫: 验证码是一种防爬机制识别验证码的机制: 1.人工肉眼识别(不推荐) 2.第三方自动识别(推荐): 云打码(已挂) 超级鹰打码兔超级鹰示例:(各打码平台使用方法几乎一致) if __name__ == '__main__': # 调用类生成实例 chaojiying = Chao 阅读全文

posted @ 2022-05-30 11:47 EricYJChung 阅读(94) 评论(0) 推荐(0)

2022年5月29日

爬虫--数据解析

摘要：数据解析基本认识爬虫根据使用场景不同分为:通用爬虫,聚焦爬虫,增量式爬虫聚焦爬虫:爬取页面中指定的页面内容 --编码流程 --指定URL --发起请求 --获取响应数据 --数据解析 --持久化存储聚焦爬虫以通用爬虫为基础,进行数据的局部提取,提取的过程即为数据解析. 数据解析分类: --正则阅读全文

posted @ 2022-05-29 10:36 EricYJChung 阅读(163) 评论(0) 推荐(0)

2022年5月28日

爬虫--requests模块基础

摘要： requests模块:python中原生的一款基于网络请求的模块,功能强大,效率极高作用:模拟浏览器发送请求如何使用:(requests模块的编码流程) --指定url --发起请求 --获取响应数据 --持久化存储环境安装: pip install requests 案例一:sougou页面阅读全文

posted @ 2022-05-28 15:26 EricYJChung 阅读(34) 评论(0) 推荐(0)

爬虫--http&https协议

摘要： http协议概念: 服务器和客户端进行数据交互的一种形式爬虫常用请求头信息requestheaders: --user-agent:请求载体的身份标识 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like 阅读全文

posted @ 2022-05-28 15:00 EricYJChung 阅读(56) 评论(0) 推荐(0)

爬虫学习教程

摘要： 1.http&https协议(点我) 2.requests(点我) 3.数据解析(点我) 4.验证码识别(点我) 5.模拟登录及代理(点我) 6.异步爬虫(点我) 7.selenium(点我) 8.scrapy(点我) 9.分布式爬虫 10.增量式爬虫案例1--爬虫案例:梨视频下载地址抓取(使用普阅读全文

posted @ 2022-05-28 14:55 EricYJChung 阅读(90) 评论(0) 推荐(0)

项目部署服务器

摘要：正常需要很多服务器,使用docker可以在一台服务器上实现: 前台vue一台服务器后台python一台服务器 mysql一台服务器 nginx一台服务器 redis一台服务器数据库备份一台服务器日志服务器 .....等 nginx和uwsgi是用socket进行数据沟通阅读全文

posted @ 2022-05-28 11:12 EricYJChung 阅读(37) 评论(0) 推荐(0)

2022年5月27日

docker中centos7环境下虚拟环境下安装uwsgi

摘要：安装uwsgi之前,要先安装python-dev工具包在centos系统中 ,为python-devel工具包 yum install python36-devel (python3.6就安装python36,根据自己python版本而定) yum install gcc (如果还是不行,安装gc 阅读全文

posted @ 2022-05-27 23:57 EricYJChung 阅读(278) 评论(0) 推荐(0)

ericyjchung 从心出发,不论归期

公告