08 2021 档案

摘要:学会了从网格爬取数据,就可以告别从网站一页一页复制表格数据的时代了。 说个亲身经历的事: 以前我的本科毕业论文是关于“燃放烟花爆竹和空气质量”之间关系的,就要从环保局官网查资料。 一个省10个市,720天的数据,我就傻乎乎地,一页一页复制数据,然后还要手动清理数据。 幸好可以复制,要不然我都可能手抄 阅读全文
posted @ 2021-08-27 15:40 程序猿不缺对象 阅读(3266) 评论(1) 推荐(0)
摘要:import requests import json import pandas as pd url = "" data = requests.get(url) data1 = json.loads(data.text) df = pd.json_normalize(data1, record_p 阅读全文
posted @ 2021-08-26 10:54 程序猿不缺对象 阅读(86) 评论(0) 推荐(0)
摘要:1、数值型取列平均值,非数值型取众数(频数最大)。 2、加权平均 2.1 计算变量之间相关系数R,取1/R,再归一化 2.2 归一化方法:除总和,即为权重 其他多重插补、模型预测等方法,我不建议新手用,用不明白,还会把自己整懵了, 人的精力是有限的,做有意义的事。 阅读全文
posted @ 2021-08-20 17:49 程序猿不缺对象 阅读(533) 评论(0) 推荐(0)
摘要:是网络的原因,加一个镜像服务器 pip install *** -i https://pypi.tuna.tsinghua.edu.cn/simple 阅读全文
posted @ 2021-08-18 12:35 程序猿不缺对象 阅读(797) 评论(0) 推荐(0)
摘要:理由:可以从mysql调数据分析 1 #安装pymysql 2 >>>pip install pymysql 3 >>>import pymysql 4 #连接数据库,创建一个rkpro库 5 >>>db = pymysql.connect(host='127.0.0.1', port=3306, 阅读全文
posted @ 2021-08-17 15:41 程序猿不缺对象 阅读(42) 评论(0) 推荐(0)