08 2021 档案
摘要:学会了从网格爬取数据,就可以告别从网站一页一页复制表格数据的时代了。 说个亲身经历的事: 以前我的本科毕业论文是关于“燃放烟花爆竹和空气质量”之间关系的,就要从环保局官网查资料。 一个省10个市,720天的数据,我就傻乎乎地,一页一页复制数据,然后还要手动清理数据。 幸好可以复制,要不然我都可能手抄
阅读全文
摘要:import requests import json import pandas as pd url = "" data = requests.get(url) data1 = json.loads(data.text) df = pd.json_normalize(data1, record_p
阅读全文
摘要:1、数值型取列平均值,非数值型取众数(频数最大)。 2、加权平均 2.1 计算变量之间相关系数R,取1/R,再归一化 2.2 归一化方法:除总和,即为权重 其他多重插补、模型预测等方法,我不建议新手用,用不明白,还会把自己整懵了, 人的精力是有限的,做有意义的事。
阅读全文
摘要:是网络的原因,加一个镜像服务器 pip install *** -i https://pypi.tuna.tsinghua.edu.cn/simple
阅读全文
摘要:理由:可以从mysql调数据分析 1 #安装pymysql 2 >>>pip install pymysql 3 >>>import pymysql 4 #连接数据库,创建一个rkpro库 5 >>>db = pymysql.connect(host='127.0.0.1', port=3306,
阅读全文