摘要:
1、请求Headers里 URL请求地址,分析得出加载视频个数 1625830,1625746,等等为加载更多视频过滤条件 2、去除后缀,拿原始链接可以请求数据 分析得知start=0 为第一个视频 3、查看源代码,下面为真实数据请求地址 4、代码 # 获取视频 import re res = re 阅读全文
摘要:
一、爬虫介绍: -本质, -就是想网站发送http请求,拿回一些页面/json格式数据(request) -处理数据,解析出有用的东西(re,bs4) -存储(mysql,文件,cvs,redis,MongoDB,es) -分析 -cookie池和代理池 -爬视频 -正向代理和反向代理 (正向代理- 阅读全文