09 2021 档案

selenium相关操作补充知识，iframe、防爬措施和案例思路介绍
摘要：selenium相关操作补充知识和案例思路介绍 selenium其他操作 动作链和iframe seleuinm相关知识、思路和防爬措施 cookie登录案例 图片验证吗思路 selenium其他操作 获取属性 语法： 变量名.get_attrubute() eg： # 调用模块 from sele 阅读全文
posted @ 2021-09-29 14:49 微纯册 阅读(222) 评论(0) 推荐(0)
爬取城市名、猪八戒、贴吧图片和selenuim模块
摘要：xpath相关练习和selenuim模块 爬取城市名称 爬取猪八戒数据并写入表格 爬取贴吧图片数据 自动化测试工具selenuim模块 爬取城市名 目的网址：https://www.aqistudy.cn/historydata/ 思路 1，查看详细页面，查看数据加载方式 2，查看network获取 阅读全文
posted @ 2021-09-28 18:36 微纯册 阅读(133) 评论(0) 推荐(0)
Xpath模块使用和实战猪八戒
摘要：Xpath模块使用和实战猪八戒 豆瓣数据改进爬取 xpath的模块使用 xpath的了解知识 实战猪八戒 豆瓣数据改进爬取 思路 1.查看数据加载方式 2.查看网络network中的获取信息，得到url、请求头、防爬链 3.查看多页查询的方式，结合网址和请求获取信息观察 4.向网址请求信息，获取数据 阅读全文
posted @ 2021-09-27 17:19 微纯册 阅读(162) 评论(0) 推荐(0)
本周网络爬虫实验终结
摘要：本周网络爬虫实验终结 正则获取红牛数据 获取糗事百科图片 爬取优美图库高清图片 爬取梨视频 openpyxl的相关知识和使用 爬取链家二手房数据 思路 # 1.判断数据加载方式，打开网络源地址，查找数据，发现为直接加载 # 2.进入network，查找url地址、请求方式或请求头等信息 # 3.执行 阅读全文
posted @ 2021-09-26 18:54 微纯册 阅读(81) 评论(0) 推荐(0)
网络爬虫实战训练
摘要：网络爬虫实训 爬取豆瓣网特殊情况 爬取链家二手房数据 爬取汽车之家新闻数据 爬取豆瓣网特殊情况 如果经常访问豆瓣时会遇到接种结果 这是服务器端将客户端IP封锁造成的后果 方法尝试1： 在官网注册账号后，登录界面，研究登录的地址及携带数据，代码发送请求获取cookie， 结果： 操作系数高，难以找到获 阅读全文
posted @ 2021-09-26 13:34 微纯册 阅读(136) 评论(0) 推荐(0)
openpyx模块使用
摘要：openpyxl使用 openpyxl的相关知识 openpyxl的使用 openpyxl的相关知识 1.excel文件的后缀 03版本之前：.xls 03版本之后：.xlsx 2.pycharm中操作excel的模块 openpyxl模块 该模块可以操作03版本之后的文件 03版本之前兼容性可能不 阅读全文
posted @ 2021-09-23 21:49 微纯册 阅读(371) 评论(0) 推荐(0)
梨视频爬取攻略
摘要：梨视频爬取攻略 思路 1.打开网址查看数据加载方式，具体步骤是打开网络源码查看视频数据是否存在 2.存在为直接加载，不存在为js动态申请，发现数据为js动态加载 3.打开network查看url地址，请求方式，视频文件多为get请求 4.获取首页所有详细页面地址后，执行循环向详细页面地址发送请求 5 阅读全文
posted @ 2021-09-23 15:45 微纯册 阅读(350) 评论(0) 推荐(0)
网络爬虫实战练习
摘要：网络爬虫练习 正则获取红牛数据 获取糗图百科的图片 爬取优美图库高清图片 爬取梨视频 正则获取红牛数据 思路 # 1.判断数据加载方式，打开网络源地址，查找数据，发现为直接加载 # 2.进入network，查找url地址、请求方式或请求头等信息 # 3.执行代码筛选 执行代码 # 调用模块 impo 阅读全文
posted @ 2021-09-22 22:06 微纯册 阅读(93) 评论(0) 推荐(0)
本周复习
摘要：爬虫本周总结 常见数据收集网络 爬虫理论 网页组成 HTML的组成 特殊符号 正则表达式 热模块 http协议 request模块使用 防爬措置 cookie与session 代理池 数据加载方式 爬虫解析库bs4 常见数据收集网络 免费类 百度指数:https://index.baidu.com/ 阅读全文
posted @ 2021-09-21 15:17 微纯册 阅读(52) 评论(0) 推荐(0)
爬虫练习和bs4使用
摘要：爬虫阶段训练和bs4使用 菜场价格爬取 爬虫解析库bs4 红牛分公司爬取 菜场价格爬取 思路 1.查看页面加载方式，右键网络源代码 2.获取数据不在存在，此网站为js动态请求 3.在network中XHR，查找信息获取URL，确定请求方法 4.获取数据结果，选择需要的数据,发现list是我们需要的数 阅读全文
posted @ 2021-09-20 20:56 微纯册 阅读(151) 评论(0) 推荐(0)
网络爬虫实战--天气、百度翻译和药品
摘要：网络爬虫的实战 数据的加载方式(重要) 爬取天气数据 爬取百度翻译 爬取药品许可证 数据加载方式 常见数据加载方式 向服务页面发送请求，服务页面直接加载出全部数据 """ 如何验证数据是直接加载还是其他方式 浏览器空白处鼠标右键 点击查看网页源码 在源码界面搜索对应的数据 如果能收到就表示该数据是直 阅读全文
posted @ 2021-09-17 16:33 微纯册 阅读(134) 评论(0) 推荐(0)
cookie和session,代码模拟用户登录，json格式数据，IP代理池(高级)和requests方法
摘要：爬虫常用模块与使用 cookie与session 代码模拟用户登录 json格式数据 ip代理池(高级) cookie与session http协议特性之一： 无状态，不保存用户端状态，即记不住 '''早期的网址不需要保存用户状态 所有人来访问都是相同的数据''' 而cookie与session的发 阅读全文
posted @ 2021-09-16 17:18 微纯册 阅读(353) 评论(0) 推荐(0)
网络爬虫的re模块入门和requests模块
摘要：爬虫入门与使用 re模块 爬虫入门模块 网络请求的方式 HTTP协议 request模块使用 re模块 在python代码中使用正则表达式需要调用内置模块re 模块方法findall 文本数据，在匹配的时候是全局匹配不会匹配到一个就停止 返回结果为一个列表 内部包含正则匹配到的所有内容 eg：# 调 阅读全文
posted @ 2021-09-15 22:18 微纯册 阅读(392) 评论(0) 推荐(0)
网页常见知识和正则使用
摘要：网页知识与正则应用 特殊符号 常用标签 列表标签 表格标签 表单标签 正则表达式 特殊符号 &gt :大于号 &lt ：小于号 &nbasp：空格符 &amp：&符号 &yen：￥符号 &reg：®注册符号 &copy：©版权符号 常用标签 a链接标签 <a href=网络地址> </a>用于显示网 阅读全文
posted @ 2021-09-14 18:59 微纯册 阅读(165) 评论(0) 推荐(0)
网络爬虫的准备知识
摘要：网络爬虫的初步认识和网页理解 常见数据收集网络 网络爬虫理论 爬虫分类 网页的组成 片段和后端 HTNL基本组成 前端body常见标签 常见数据收集网络 免费类 百度指数:https://index.baidu.com/v2/index.html#/ 有百度内可以搜索到的热词查询次数、等相关数据 新 阅读全文
posted @ 2021-09-13 20:19 微纯册 阅读(211) 评论(0) 推荐(0)
数据库三大范式
摘要：数据库三大范式 什么是范式 范式是在设计数据库结构过程中所要遵循的规则和指导方法,为的是规范地优化数据数据存储方式 三大范式 第一范式第二范式第三范式 第一范式 1.数据表中的每一个字段，必须是不可拆分的最小单元，也就是确保每一列的原子性。2.两字段的属性相近或相似或一样，尽量合并属性一样的字段 下 阅读全文
posted @ 2021-09-13 11:34 微纯册 阅读(149) 评论(0) 推荐(0)
数据库阶段总结（2）
摘要：二阶段总结 主键 自增 外键 表关系 修改表相关SQL的语句 关键字where 关键字group by 聚合函数 关键字having过滤 关键字dictinct 关键字order by 关键字limit 关键字regexp正则（了解） 关键字补充 多表查询理论 多表查询联表 多表查询子查询 可视化软 阅读全文
posted @ 2021-09-13 11:32 微纯册 阅读(70) 评论(0) 推荐(0)
mysql的理论知识补充
摘要：MySQL理论知识补充 pymysql其他操作 SQL注入 用户管理 事务 视图 触发器 存储过程 函数 索引 pymysql其他操作 import pymysql # 创建连结对象 con= pymysql.connect( # 回环地址，默认本机地址 host='127.0.0.1', # 端口 阅读全文
posted @ 2021-09-11 22:39 微纯册 阅读(45) 评论(0) 推荐(0)
mysql在python中的运用与mysql练习，pip下载源
摘要：MySQL的阶段应用 python如何操作MySQL python代码操作MySQL MySQL的练习 python如何操作MySQL 实现python代码操作MySQL需要借助第三方模块 该模块：也是由他人所写传到网上的 所以使用第三方软件需要网上下载 下载pymysql 环境变量配置 1.首先要 阅读全文
posted @ 2021-09-09 19:42 微纯册 阅读(302) 评论(0) 推荐(0)
MySQL的关键字补充、多表查询和navicat
摘要：MySQL的关键字补充、多表查询和navicat 关键字补充 多表查询理论 多表查询联表 多表查询子查询 多表查询总结 可视化软件navicat 关键字补充 group_concat()方法 功能 获取除分组以外其他字段数据，可以拼接字段名（用于分组之后） 例题1： # 把各部门的员工和性别输出 s 阅读全文
posted @ 2021-09-08 17:04 微纯册 阅读(303) 评论(0) 推荐(0)
MySQL的单表查询关键字和多表查询
摘要：查询数据为主 前提准备 关键字where 关键字group by 聚合函数 关键字having过滤 关键字dictinct 关键字order by 关键字limit 关键字regexp正则（了解） 关键字COALESCE 开窗函数 前提 生成实验数据 # 生成表 create table emp( 阅读全文
posted @ 2021-09-07 17:37 微纯册 阅读(246) 评论(0) 推荐(0)
MySQL约束条件的内容与SQL修改
摘要：MySQL的约束条件和SQL修改 约束条件主键 约束条件自增 约束条件外键 表关系的种类 修改表相关SQL语句 约束条件主键 1.单从约束层面上来讲 相当于not null + unique = 非空且唯一 primary key # 主键 语法： create table 名 (名 类型 prim 阅读全文
posted @ 2021-09-06 21:19 微纯册 阅读(550) 评论(0) 推荐(0)
数据库阶段总结
摘要：数据库基本概念和简单使用总结 数据库的演变过程 软件开发架构 数据库概念 SQL语句与NoSQL语句 MySQL数据库的安装与基本介绍 修改密码与破解密码 字符编码与配置文件 基本SQL语句 存储引擎 创建表的完整语法 数据库的演变过程 1.文件的存储方式 类似于excel表等文本软件，安全性低，兼 阅读全文
posted @ 2021-09-05 18:34 微纯册 阅读(58) 评论(0) 推荐(0)
mysql的存储，数据类型的操作和约束条件
摘要：MySQL的存储引擎，数据类型的实际操作 存储引擎 创建表的完整语法 数据类型 字段的约束条件 mysql对字母大小写不敏感 存储引擎 什么是存储引擎 MySQL内部针对数据的存储有不同的方式数据库的存储方式就是存储引擎 查看搜索引擎 show engines； 主要存储引擎 innoDB MySQ 阅读全文
posted @ 2021-09-04 16:27 微纯册 阅读(111) 评论(0) 推荐(0)
MySQL的基本操作
摘要：MySQL的运用与理论知识 修改密码与破解密码 字符编码与配置文件 基本SQL语句的运用 数据库存储引擎理论与概念 修改密码与破解密码 方法1： # 必须在mysql用户登录状态下执行 mysql -u用户名 -p密码 # 此处命令用于修改当前用户的密码 set password = passwor 阅读全文
posted @ 2021-09-02 21:27 微纯册 阅读(47) 评论(0) 推荐(0)
数据库基础
摘要：数据库基础 数据库的演变过程 软件开发架构 数据库概念 SQL语句和NOSQL语句 MySQL的安装与基本介绍 数据库的演变过程 文件的数据存储 单机游戏的数据存储 网路游戏的数据存储 1.文件的数据存储 eg： # 不同的文件格式 jj|123 # 普通文件 {"username":jj,"pwd 阅读全文
posted @ 2021-09-01 19:54 微纯册 阅读(79) 评论(0) 推荐(0)