2022年5月28日
爬虫--requests模块基础
摘要： requests模块:python中原生的一款基于网络请求的模块,功能强大,效率极高 作用:模拟浏览器发送请求 如何使用:(requests模块的编码流程) --指定url --发起请求 --获取响应数据 --持久化存储 环境安装: pip install requests 案例一:sougou页面 阅读全文
posted @ 2022-05-28 15:26 EricYJChung 阅读(34) 评论(0) 推荐(0)
爬虫--http&https协议
摘要： http协议概念: 服务器和客户端进行数据交互的一种形式 爬虫常用请求头信息requestheaders: --user-agent:请求载体的身份标识 Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like 阅读全文
posted @ 2022-05-28 15:00 EricYJChung 阅读(56) 评论(0) 推荐(0)
爬虫学习教程
摘要： 1.http&https协议(点我) 2.requests(点我) 3.数据解析(点我) 4.验证码识别(点我) 5.模拟登录及代理(点我) 6.异步爬虫(点我) 7.selenium(点我) 8.scrapy(点我) 9.分布式爬虫 10.增量式爬虫 案例1--爬虫案例:梨视频下载地址抓取(使用普 阅读全文
posted @ 2022-05-28 14:55 EricYJChung 阅读(90) 评论(0) 推荐(0)
项目部署服务器
摘要： 正常需要很多服务器,使用docker可以在一台服务器上实现: 前台vue一台服务器 后台python一台服务器 mysql一台服务器 nginx一台服务器 redis一台服务器 数据库备份一台服务器 日志服务器 .....等 nginx和uwsgi是用socket进行数据沟通 阅读全文
posted @ 2022-05-28 11:12 EricYJChung 阅读(37) 评论(0) 推荐(0)