09 2021 档案
摘要：selenuim模块的其他使用方法 获取属性 tag.get_attribute('src') 获取文本内容 tag.text 获取标签ID，位置，名称，大小 print(tag.id) print(tag.location) print(tag.tag_name) print(tag.size)
阅读全文
摘要：爬取城市名称 import requests from lxml import etree # 1.发送请求获取页面数据 res = requests.get("https://www.aqistudy.cn/historydata/", headers={ 'User-Agent': "Mozil
阅读全文
摘要：爬取豆瓣top250 import requests # 请求库 from bs4 import BeautifulSoup # 解析库 from openpyxl import Workbook import time wb = Workbook() wb1 = wb.create_sheet('
阅读全文
摘要：爬取豆瓣top250 在爬取的时候发生了一点小插曲 我们的IP被锁了 import requests proxies = { 'http': '114.99.223.131:8888', 'http': '119.7.145.201:8080', 'http': '175.155.142.28:80
阅读全文
摘要：梨视频爬取教程 1.我们首先先要查看这个地址是否能直接连接到我们所需要的视频 2.通过点击这个视频地址我们发现是直接加载在网页上面的，这个时候事情就容易多了 3.然后我们需要分析这个地址所在的a标签的规律并且使用方法找到所需要的标签数据 4.进一步检查他的转跳窗口地址并没有给全那就手动加上前面部分
阅读全文
摘要：在查找标签的时候有两种策略 1.指名道姓的查找 待查找的标签本身就具备很强的辨识度 2.先整体再局部 待查找的标签本身没有很强的辨识度 并且很多地方都有相似的标签 此时可以先查找该标签的祖先标签再一步一步查找其后代标签拿到需要的数据 梨视频多页数据的爬取 import requests from b
阅读全文
摘要：红牛分公司数据 import requests import re # 1.朝页面发送get请求获取页面数据 res = requests.get("http://www.redbull.com.cn/about/branch") # 2.分析数据特征 书写相应正则 # 2.1.正则解析分公司名称
阅读全文
摘要：bs4模块的基本使用 from bs4 import BeautifulSoup 自行构造一个网页数据 html_doc = """ <html> <head> <title>The Dormouse's story</title> </head> <body> <p class="title">
阅读全文
摘要：数据加载方式（重要） 1.常见的加载方式 超服务器请求 页面数据直接全部返回并加载 如何验证数据是直接加载还是其他方式 浏览器空白处鼠标右键 点击查看网页源码 在源码界面搜索对应的数据 如果能收到就表示该数据是直接加载的（可以直接发送相应的请求获取） 2.内部js代码请求 先加载一个也免得框架 之后
阅读全文
摘要：cookie与session cookie与session的发明是专门用来解决http协议无状态的特点 http协议无状态>>>>:不保存用户端状态（记不住） 早期的网址不需要保存用户状态 所有人来访问都是爱你沟通的数据 随着是道德发展越来越多的网址需要保存用户状态（记住） cookie：保存在客户
阅读全文
摘要：re模块 import re s = "eva jason tony yuan jason jason jason a" # res = re.findall('j.*?n', s) # 返回所有满足匹配条件的结果,放在列表里 # print(res) findall（正则，文本数据） 在匹配的时候
阅读全文
摘要：特殊符号 空格 > >< <& &¥ ¥版权 ©注册 ® 常用标签 a标签 链接标签 <a href="https://www.sogo.com">链接标签</a> img标签 图片标签 <img src="111.png" alt="">图
阅读全文
摘要：常见收集数据的网站 可以白嫖的 百度指数 https://index.baidu.com/v2/index.html#/ 新浪指数 https://data.weibo.com/index 国家数据 http://www.gov.cn/shuju/index.htm 世界银行 https://dat
阅读全文
摘要：pymysql其他操作 SQL操作 基于pymysql实现用户注册登录 事务 用户管理 索引 其他知识的补充 pymysql的其他操作 怎么样链接MySQL数据库 import pymysql conn = pymysql.connect( host='127.0.0.1', port=3306,
阅读全文
摘要：MySQL数据库 多表查询练习题 python代码操作MySQL 基于python代码和MySQL实现用户登录注册 多表查询练习题 在编写较为复杂的SQL查询语句时不要想着一口气写完 写一点检查一下看一下再写 任何复杂的SQL语句都是慢慢拼凑出来的 在编写复杂的SQL语句的时候可以先写出中文的思路
阅读全文
摘要：查询关键字的补充知识 1.group_concat() 方法 用于分组之后 获取除分组以外的其他字段数据 本质可以理解为拼接操作 select post,group_concat(name) from emp group by post; select post,group_concat(name,
阅读全文
摘要：数据准备 注意：涉及到命令操作的时候最好在命令结束的时候检查一下 涉及到表字段加多 窗口显示错乱的情况下可是使用\G分行展示 #新建一个表 create table emp( id int primary key auto_increment, name varchar(20) not null,
阅读全文
摘要：约束条件的补充 主键 自增 外键 约束条件：主键 主键 primary key 1.从约束条件的层面上来说 相当于 not null unique>>>>>非空且唯一 create table t1(id int primary key); creare table t2(id int not nu
阅读全文
摘要：MySQL数据库的基本知识延展 储存引擎 创建表的完整语法 MySQL基本数据类型 字段的约束条件 储存引擎 MySQL内部针对数据的储存形式有很多种不同的数据方式 简单的理解：我们把这些不同的储存方式叫做不同的储存引擎 怎么在MySQL中查看我们的储存引擎 show engines; 主要储存引擎
阅读全文
摘要：MySQL数据库的基本使用方法 修改密码与破解密码 字符编码与配置文件 基本MySQL语句 MySQL语句的重小知识 在MySQL数据库中的SQL语句结束符号是英文的分号(;) 修改密码与破解密码 修改密码的方式： 1.在不登录的情况下修改密码 mysqladmin -u用户名 -p原密码 pass
阅读全文
摘要：MySQL数据库（非常的重要） 数据库的简介 数据库储存数据的演变过程 1.文件 jason|123 # 普通文本 {"username":"cyka","password":123} #json的格式 缺点： 数据格式差别很大导致程序的兼容性很差 数据的安全性比较差容易丢失 2.单机游戏 数据保存
阅读全文
浙公网安备 33010602011771号