摘要：
梨视频爬取攻略 思路 1.打开网址查看数据加载方式，具体步骤是打开网络源码查看视频数据是否存在 2.存在为直接加载，不存在为js动态申请，发现数据为js动态加载 3.打开network查看url地址，请求方式，视频文件多为get请求 4.获取首页所有详细页面地址后，执行循环向详细页面地址发送请求 5 阅读全文
posted @ 2021-09-23 15:45
微纯册
阅读(350)
评论(0)
推荐(0)
摘要：
网络爬虫练习 正则获取红牛数据 获取糗图百科的图片 爬取优美图库高清图片 爬取梨视频 正则获取红牛数据 思路 # 1.判断数据加载方式，打开网络源地址，查找数据，发现为直接加载 # 2.进入network，查找url地址、请求方式或请求头等信息 # 3.执行代码筛选 执行代码 # 调用模块 impo 阅读全文
posted @ 2021-09-22 22:06
微纯册
阅读(93)
评论(0)
推荐(0)
摘要：
爬虫本周总结 常见数据收集网络 爬虫理论 网页组成 HTML的组成 特殊符号 正则表达式 热模块 http协议 request模块使用 防爬措置 cookie与session 代理池 数据加载方式 爬虫解析库bs4 常见数据收集网络 免费类 百度指数:https://index.baidu.com/ 阅读全文
posted @ 2021-09-21 15:17
微纯册
阅读(52)
评论(0)
推荐(0)
摘要：
爬虫阶段训练和bs4使用 菜场价格爬取 爬虫解析库bs4 红牛分公司爬取 菜场价格爬取 思路 1.查看页面加载方式，右键网络源代码 2.获取数据不在存在，此网站为js动态请求 3.在network中XHR，查找信息获取URL，确定请求方法 4.获取数据结果，选择需要的数据,发现list是我们需要的数 阅读全文
posted @ 2021-09-20 20:56
微纯册
阅读(151)
评论(0)
推荐(0)
摘要：
网络爬虫的实战 数据的加载方式(重要) 爬取天气数据 爬取百度翻译 爬取药品许可证 数据加载方式 常见数据加载方式 向服务页面发送请求，服务页面直接加载出全部数据 """ 如何验证数据是直接加载还是其他方式 浏览器空白处鼠标右键 点击查看网页源码 在源码界面搜索对应的数据 如果能收到就表示该数据是直 阅读全文
posted @ 2021-09-17 16:33
微纯册
阅读(134)
评论(0)
推荐(0)
摘要：
爬虫常用模块与使用 cookie与session 代码模拟用户登录 json格式数据 ip代理池(高级) cookie与session http协议特性之一： 无状态，不保存用户端状态，即记不住 '''早期的网址不需要保存用户状态 所有人来访问都是相同的数据''' 而cookie与session的发 阅读全文
posted @ 2021-09-16 17:18
微纯册
阅读(353)
评论(0)
推荐(0)
摘要：
爬虫入门与使用 re模块 爬虫入门模块 网络请求的方式 HTTP协议 request模块使用 re模块 在python代码中使用正则表达式需要调用内置模块re 模块方法findall 文本数据，在匹配的时候是全局匹配不会匹配到一个就停止 返回结果为一个列表 内部包含正则匹配到的所有内容 eg：# 调 阅读全文
posted @ 2021-09-15 22:18
微纯册
阅读(392)
评论(0)
推荐(0)
摘要：
网页知识与正则应用 特殊符号 常用标签 列表标签 表格标签 表单标签 正则表达式 特殊符号 > :大于号 < ：小于号 &nbasp：空格符 &：&符号 ¥：￥符号 ®：®注册符号 ©：©版权符号 常用标签 a链接标签 <a href=网络地址> </a>用于显示网 阅读全文
posted @ 2021-09-14 18:59
微纯册
阅读(165)
评论(0)
推荐(0)
摘要：
网络爬虫的初步认识和网页理解 常见数据收集网络 网络爬虫理论 爬虫分类 网页的组成 片段和后端 HTNL基本组成 前端body常见标签 常见数据收集网络 免费类 百度指数:https://index.baidu.com/v2/index.html#/ 有百度内可以搜索到的热词查询次数、等相关数据 新 阅读全文
posted @ 2021-09-13 20:19
微纯册
阅读(211)
评论(0)
推荐(0)
摘要：
数据库三大范式 什么是范式 范式是在设计数据库结构过程中所要遵循的规则和指导方法,为的是规范地优化数据数据存储方式 三大范式 第一范式第二范式第三范式 第一范式 1.数据表中的每一个字段，必须是不可拆分的最小单元，也就是确保每一列的原子性。2.两字段的属性相近或相似或一样，尽量合并属性一样的字段 下 阅读全文
posted @ 2021-09-13 11:34
微纯册
阅读(149)
评论(0)
推荐(0)
浙公网安备 33010602011771号