摘要: 1、请求Headers里 URL请求地址,分析得出加载视频个数 1625830,1625746,等等为加载更多视频过滤条件 2、去除后缀,拿原始链接可以请求数据 分析得知start=0 为第一个视频 3、查看源代码,下面为真实数据请求地址 4、代码 # 获取视频 import re res = re 阅读全文
posted @ 2019-11-25 21:50 小王八+1 阅读(653) 评论(0) 推荐(0) 编辑
摘要: 一、爬虫介绍: -本质, -就是想网站发送http请求,拿回一些页面/json格式数据(request) -处理数据,解析出有用的东西(re,bs4) -存储(mysql,文件,cvs,redis,MongoDB,es) -分析 -cookie池和代理池 -爬视频 -正向代理和反向代理 (正向代理- 阅读全文
posted @ 2019-11-25 20:53 小王八+1 阅读(162) 评论(0) 推荐(0) 编辑