09 2021 档案

爬取红薯小说网数据详细步骤
摘要：步骤一 小说详情页面鼠标左右键全部禁用，但是支持按F12调出控制台 步骤二 研究发现小说文字不是直接加载，于是我们可以查找相关二次请求 步骤三 查找可疑的响应文件，结果发现了两处可疑点 步骤四 然后再次研究发现，请求体里也有重要参数 步骤五 然后发现文字内容的解密过程发送在浏览器本地 通过浏览器查找 阅读全文
posted @ 2021-09-29 22:41 陌若安然 阅读(377) 评论(0) 推荐(0)
selenuim补充知识与爬虫知识拓展
摘要：目录 selenuim其他操作 图片验证码与滑动验证码的破解思路 大型复杂爬虫案例讲解 selenuim其它操作 获取属性 tag.get_attribute('src') 获取文本内容 tag.text 获取标签ID，位置，名称，大小 print(tag.id) print(tag.locatio 阅读全文
posted @ 2021-09-29 21:25 陌若安然 阅读(62) 评论(0) 推荐(0)
X-path爬取案例与selenuim模块
摘要：目录 爬取城市名称 爬取猪八戒数据并写入表格 爬取贴吧图片数据 自动化测试工具selenuim模块 爬取城市名称 思路 1.向网页发送请求并携带请求头User-Agent参数 2.生成一个xpath对象并研究标签规律 3.利用xpath选择所需数据 4.打印结果 完整代码 import reques 阅读全文
posted @ 2021-09-28 22:19 陌若安然 阅读(127) 评论(0) 推荐(0)
X-path解析器
摘要：目录 解析库之X-path解析器 实战案例之爬取猪八戒数据 X-path解析器 效率很高，使用广泛 模拟网页内容 doc = ''' <html> <head> <base href='http://example.com/' /> <title id='t1'>Example website</t 阅读全文
posted @ 2021-09-27 23:06 陌若安然 阅读(107) 评论(0) 推荐(0)
一周内容回顾(9.22-9.24)
摘要：day01 爬取糗图图片数据 爬取优美图库高清图片 爬取梨视频视频数据 防爬措施之防盗链 爬取糗图图片数据 思路 1.发送get请求获取页面数据 2.利用bs4解析 3.研究标签特征 获取图片链接 3.1进行for循环拿到图片完整的地址 3.2发送请求保存数据 4.利用上述代码自定义成函数 5.给到 阅读全文
posted @ 2021-09-26 14:46 陌若安然 阅读(56) 评论(0) 推荐(0)
爬取链家二手房与汽车之家新闻数据
摘要：目录 爬取链家二手房数据 爬取汽车之家新闻数据 爬取链家二手房数据 1、进入链接二手房某个区的界面，判断分析该数据的加载方式，结果的知识直接加载的 2、在pycharm中打印下看看是否有防爬和乱码现象，结果是没有，那对页面进行数据解析筛选 3、在页面空白处右键点击检查，利用鼠标选中标题查询该数据在哪 阅读全文
posted @ 2021-09-26 13:21 陌若安然 阅读(57) 评论(0) 推荐(0)
爬取梨视频视频数据详细操作
摘要：目录 思路 详细步骤 代码演示 多页操作详细 代码演示 思路 1.先在空白处右键点击查看网页源代码 2.发现页面上的视频信息在网页中,该网站的视频链接、名称等是直接加载的 3.模拟向梨视频汽车板块网址发送get请求 4.分析返回结果发现视频链接是一个个li标签下的a标签的href值 5.由于同类li 阅读全文
posted @ 2021-09-25 16:18 陌若安然 阅读(719) 评论(1) 推荐(0)
openpyxl模块
摘要：目录 openpyxl模块 创建文件 写数据 读数据 openpyxl模块理论前戏 1.excel文件的后缀名针对版本的不同是不同的 03版本之前:.xls 03版本之后:.xlsx 2.在python能够操作excel表格的模块 1.openpyxl模块 该模块可以操作03版本的之后的文件 针对0 阅读全文
posted @ 2021-09-23 22:08 陌若安然 阅读(121) 评论(0) 推荐(0)
爬虫练习题
摘要：目录 正则解析红牛分公司数据 爬取糗图图片数据 爬取优美图库高清图片 爬取梨视频视频数据 防爬措施之防盗链 正则解析红牛分公司数据 思路 # 1.朝页面发送get请求获取页面数据 # 2.分析数据特征 书写相应正则 # 2.1.正则解析分公司名称 # 2.2.正则解析分公司地址 # 2.3.正则解析 阅读全文
posted @ 2021-09-22 23:08 陌若安然 阅读(182) 评论(0) 推荐(0)
一周内容回顾(9.13-9.18)
摘要：day01 常见收集数据网站 爬虫及分类 网页组成 常见收集数据网站 免费类(国内) # 百度指数:https://index.baidu.com/v2/index.html#/是以百度海量网民行为数据为基础的数据分析平台 # 新浪指数:https://data.weibo.com/index是对提 阅读全文
posted @ 2021-09-21 14:08 陌若安然 阅读(70) 评论(0) 推荐(0)
爬虫解析库之bs4模块
摘要：目录 爬虫题讲解 bs4模块 爬取红牛分公司数据 爬取北京新发地蔬菜相关数据 思想 1.明确题目需求，获取页面上某一块区域内部的核心数据 2.先查看核心数据的加载方式 3.发现数据并不在网页源码上，说明是内部动态加载的 4.通过network查看发现内部发送了一个post请求 5.post请求最为独 阅读全文
posted @ 2021-09-20 20:36 陌若安然 阅读(258) 评论(0) 推荐(0)
爬虫实战练习
摘要：目录 数据的加载方式 爬取天气数据 爬取百度翻译 爬取药品许可证 爬取北京新发地蔬菜价格表 数据的加载方式 1.常见的加载方式 朝服务器发请求 页面数据直接全部返回并加载 2.内部js代码请求 先加载一个页面的框架,之后再朝各项数据的网址发送请求获取数据 如何验证数据是直接加载还是其他方式 浏览器空 阅读全文
posted @ 2021-09-17 22:49 陌若安然 阅读(124) 评论(0) 推荐(0)
cookie与session
摘要：目录 cookie与session 代码模拟用户登录 json格式数据 ip代理池 cookie代理池 cookie与session 由来 # cookie与session的发明是专门用来解决HTTP协议无状态的特点 早期的网址不需要保存用户状态，所有人来访问都是相同的数据 随着时代的发展越来越多的 阅读全文
posted @ 2021-09-16 15:56 陌若安然 阅读(55) 评论(0) 推荐(0)
爬虫模块之requests
摘要：目录 re模块 爬虫模块之requests 网络请求的方式 requests模块演示 re模块 演示准备 import re s = """ eva ben tom mary ben ben ben """ 演示一 res = re.findall('b.*?n',s) print(ret) """ 阅读全文
posted @ 2021-09-15 20:41 陌若安然 阅读(42) 评论(0) 推荐(0)
前端其他标签与正则表达式
摘要：目录 特殊符号 常用标签 列表标签 表格标签 表单标签 正则表达式 特殊符号 空格 &nbsp; > &gt; < &lt; & &amp; ¥ &yen; 版权 &copy; 注册 &reg; 常用标签 <a href="网址">链接标签</a> href参数后面写网址 用户点击即可跳转到该网页 阅读全文
posted @ 2021-09-14 16:09 陌若安然 阅读(107) 评论(0) 推荐(0)
网络爬虫
摘要：目录 第一篇 网络爬虫理论 第二篇 正则表达式 第三篇 爬虫之requests模块 第四篇 cookie与session 第五篇 爬虫练习 第六篇 bs4模块 第七篇 爬虫实战 第八篇 openpyxl模块 第九篇 爬取梨视频数据详细步骤 第十篇 爬取链家二手房与汽车之家新闻数据 第十一篇 X-pa 阅读全文
posted @ 2021-09-13 20:21 陌若安然 阅读(119) 评论(0) 推荐(0)
网络爬虫
摘要：目录 常见收集数据网站 爬虫及分类 网页组成 常见收集数据网站 免费类(国内) # 网站:https://index.baidu.com/v2/index.html#/ 百度指数是以百度海量网民行为数据为基础的数据分析平台 是当前互联网乃至整个数据时代最重要的统计分析平台之一 常见功能 搜索指数图 阅读全文
posted @ 2021-09-13 20:16 陌若安然 阅读(50) 评论(0) 推荐(0)
一周内容回顾(9.6-9.10）
摘要：day01 约束条件之主键 约束条件之自增 约束条件之外键 约束条件之主键 # 主键 primary key 1.从约束方面相当于not null unique # 非空且唯一 2.从存储方面主键是InnoDB组织数据表的依据 结论 在创建表的时候一般都需要有一个id字段(uid sid pid.. 阅读全文
posted @ 2021-09-12 21:36 陌若安然 阅读(38) 评论(0) 推荐(0)
pymysql补充与MySQL其他知识
摘要：目录 pymysql其他操作 SQL注入 基于pymysql实现用户注册登录 事务 用户管理 索引 其他辅助知识补充 pymysql其他操作 import pymysql conn = pymysql.connect( host='127.0.0.1', port=3306, user='root' 阅读全文
posted @ 2021-09-12 14:50 陌若安然 阅读(48) 评论(0) 推荐(0)
多表查询练习题与pymysql模块
摘要：目录 多表查询练习题 python代码操作MySQL 基于python代码和MySQL实现用户登录 多表查询练习题 1、查询所有的课程的名称以及对应的任课老师姓名 # 思路 # 1.涉及到课程表与老师表 # 2.需要的数据在两张表中，则利用多表查询，并确定为联表操作 # 3.最后确定select后需 阅读全文
posted @ 2021-09-09 20:51 陌若安然 阅读(75) 评论(0) 推荐(0)
多表查询
摘要：目录 补充知识 多表查询理论 可视化软件navicat 作业 补充知识 group_concat()方法 作用：用于分组之后 # 获取除分组以外其他字段数据 本质可以理解为是拼接操作 演示 select post,group_concat(name) from emp group by post; 阅读全文
posted @ 2021-09-08 22:26 陌若安然 阅读(54) 评论(0) 推荐(0)
单表查询关键字
摘要：目录 where group by having distinct orderby limit regexp 数据准备 create table emp( id int primary key auto_increment, name varchar(20) not null, gender enu 阅读全文
posted @ 2021-09-07 15:45 陌若安然 阅读(112) 评论(0) 推荐(0)
约束条件之主键/自增/外键
摘要：目录 约束条件之主键 约束条件之自增 约束条件之外键 约束条件之主键 # 主键 primary key 1.从约束方面相当于not null unique # 非空且唯一 验证： create table t1(id int primary key); creare table t2(id int 阅读全文
posted @ 2021-09-06 22:03 陌若安然 阅读(264) 评论(0) 推荐(0)
一周内容回顾(8.30-9.3)
摘要：day02 面向对象 异常捕获 面向对象 对象的概念 对象：数据与功能的结合体 类的概念 类：多个对象相同数据与功能的结合体 定义类 定义类的语法结构 1.class是定义类的关键字 2.Student是类的名字 类名在python中推荐首字母大写 3.缩进代码块 对象相同的数据和功能 父类 多个类 阅读全文
posted @ 2021-09-05 21:52 陌若安然 阅读(42) 评论(0) 推荐(0)
MySQL基本数据类型
摘要：目录 存储引擎 创建表的完整语法 MySQL基本数据类型 字段的约束条件 存储引擎 MySQL内部针对数据的存储有很多不同的方式 简单来说就是把这些不同的存储方式叫做不同的存储引擎 查看各类存储引擎 show engines; 主要存储引擎 1.InnoDB 它是MySQL5.5之后的版本默认的存储 阅读全文
posted @ 2021-09-05 14:08 陌若安然 阅读(56) 评论(0) 推荐(0)
基本SQL语句
摘要：目录 修改密码与破解密码 字符编码与配置文件 基本SQL语句 修改密码与破解密码 前提 在MySQL中SQL语句的结束符是分号(;) 修改密码 修改密码方式1: set password=password('你想要设置的密码'); # 该命令修改的是当前登录用户的密码 修改密码方式2: # 在不登陆 阅读全文
posted @ 2021-09-02 18:48 陌若安然 阅读(186) 评论(0) 推荐(0)
MySQL
摘要：目录 第一篇 MySQL基础 第二篇 基本SQL语言 第三篇 MySQL基本数据类型 第四篇 约束条件 第五篇 单表查询关键字 第六篇 多表查询与Navicat 第七篇 多表查询练习与pymysql模块 第八篇 pymysql模块补充与MySQL其他知识 阅读全文
posted @ 2021-09-01 16:41 陌若安然 阅读(91) 评论(0) 推荐(0)
MySQL基础
摘要：目录 数据库简介 软件开发架构 数据库的分类 SQL语句的由来 MySQL数据库简介 MySQL下载与安装 数据库简介 数据库存储数据的演变过程 1.文件 eg: ben|123 # 普通文本 {''username'':''ben'',''pwd'':123} #json格式 """ 缺陷 1.数 阅读全文
posted @ 2021-09-01 16:36 陌若安然 阅读(39) 评论(0) 推荐(0)