摘要： selenium启动chrome时，弹出设置页面:Windows Defender 防病毒要重置您的设置。和data页面 转载自：https://blog.csdn.net/xm_csdn/article/details/84820412 1.在使用selenium打开chrome时同时打开了两个标 阅读全文

摘要： 一、 首先创建三个服务器，代码如下： flask服务器.py 1 from flask import Flask 2 import time 3 4 app = Flask(__name__) 5 6 @app.route('/bobo') 7 def index_bobo(): 8 time.sl 阅读全文

摘要： 一、异步协程的基本使用 -event_loop:事件，相当于一个无线循环，我们可以把一些函数注册到这个事件循环上，当满足某些条件的时候，函数就会被循环执行。 -coroutine:协程对象，我们可以将协程对象注册到事件循环中，它会被事件循环调用。 我们可以使用 async 关键字来定义一个方法，这个 阅读全文

摘要： 一、梨视频获取分析、猜想、思考过程以及解决方案 -1、get访问 https://www.pearvideo.com/category_5 2、访问：https://www.pearvideo.com/video_1720499进入某个视频的详细页面 问：这个响应包里的videoStatus.jsp 阅读全文

摘要： 高性能异步爬虫 目的：在爬虫中使用异步实现高性能的数据爬取操作 异步爬虫的方式： -多线程，多进程（不建议）： 好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作旧可以异步执行。 弊端：无法无限制的开启多线程或者多进程。 -线程池、进程池（适当的使用）： 好处：我们可以降低系统对进程或者线程创 阅读全文

摘要： http/https协议特性：无状态。 没有请求到对应页面数据的原因： 发起的第二次基于个人主页页面请求的时候，服务器端并不知道该此请求是基于登录状态下的请求。 Cookie:用来让服务器端记录客户端的相关状态。 -手动处理：通过抓包工具获取cookie值，将该值封装到headers中。（不建议） 阅读全文

摘要： 验证码识别 反爬机制：验证码，识别验证码图片中的数据，用于模拟登录操作 验证码识别的操作：推荐第三方自动识别——超级鹰等 实战一：古诗文网登录页面中的验证码。 使用打码平台识别验证码的编码流程： -将验证码图片进行本地下载 -调用平台提供的示例代码进行图片数据识别 1 import requests 阅读全文

摘要： xpath解析：最常用且最便捷高效的一种解析方式，通用性 -xpath解析原理： -1、实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。 -2、调用etree对象中的xpath方法结合这xpath表达式实现标签的定位和内容的捕获 -环境的安装： -pip install lx 阅读全文

摘要： bs4进行数据解析： -数据解析的原理： 1、标签定位 2、提取标签、标签属性中存储的数据值 -bs4数据解析的原理： 1、实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象 2、通过调用BeautifulSoup对象中相关的属性或方法进行标签定位和数据提取 -环境安装： 1、 阅读全文

摘要： 一、常用的正则 阅读全文