摘要： 使用正则爬取红牛分公司数据： # 插入模块 import requestsimport re # 1.朝页面发送get请求获取页面数据res = requests.get("http://www.redbull.com.cn/about/branch") # 2.分析数据特征 书写相应正则 # 2. 阅读全文

摘要： 昨日作业：爬取北京新发地蔬菜价格表： """思路""" # 打开网页# 1.拿到页面后分析数据加载方式# 2.发现并不是直接加载的# 右键网页空白处，检查，network，然后点击fetch/xhr筛选动态获取数据的地址和请求方式# 然后点击url一栏，按下回车，便会出现一条数据 import re 阅读全文

摘要： 数据加载方式（重要）： 1.常见的加载方式： 朝服务器发请求 页面数据直接全部返回并加载"""如何验证数据是直接加载还是其他方式 浏览器空白处鼠标右键 点击查看网页源码 在源码界面搜索对应的数据 如果能收到就表示该数据是直接加载的(你可以直接发送相应请求获取)""" 2.内部js代码请求： 先加载一 阅读全文

摘要： Cookie与Session： # cookie与session的发明是专门用来解决http协议无状态的特点 http协议无状态 >>>: 不保存用户端状态（记不住） '''早期的网址不需要保存用户状态 所有人访问都是相同的数据''' 随着时代的发展越来越多的网址需要保存用户状态(记住你) Cook 阅读全文

摘要： re模块： import re s = """eva jason tony yuan jason jason jason a"""# ret = re.findall('j.*?n', s) # 返回所有满足匹配条件的结果,放在列表里# print(ret)"""findall(正则,文本数据) 在 阅读全文

摘要： 特殊符号： 空格 &nbsp;> &gt;< &lt;& &amp;¥ &yen;版权 &copy;注册 &reg; 常用标签： <a href="https://www.sogo.com">链接标签</a> href参数后面写网址 用户点击即可跳转到该网页 <img src="111.png" a 阅读全文

摘要： 常见收集数据网站（白嫖类）： 百度指数:https://index.baidu.com/v2/index.html#/ # 通过关键词查询，然后进去可以选择时间段来查看 新浪指数:https://data.weibo.com/index # 通过微信扫码查询（暂时维护） 国家数据:http://ww 阅读全文

摘要： PyMySQL其他操作： import pymysql conn = pymysql.connect( host='127.0.0.1', port=3306, user='root', password='123', # 支持简写passwd database='db6', # 支持简写db ch 阅读全文

摘要： 数据导入： Navicat Premium Data Transfer Source Server : localhost Source Server Type : MySQL Source Server Version : 50624 Source Host : localhost Source 阅读全文

摘要： 首先是对于查询的补充 分为以下四种： 1.group_concat()方法 分组之后 用于获取除分组以外其他的数据 也可以在括号内获取其他数据 并用逗号或者分割符隔开 2.concat()方法 用于分组之前 3.concat_ws()方法 用于分组之前 多个字段相同分隔符情况、 4.as语法 在这里 阅读全文