麦小秋

摘要： 数据建模（1）-线性回归 阅读全文

摘要： 1.相关性分析 分析连续变量之间的线性相关程度的强弱 图示初判 / Pearson相关系数（皮尔逊相关系数） / Sperman秩相关系数（斯皮尔曼相关系数） # 图示初判 # （1）变量之间的线性相关性 data1 = pd.Series(np.random.rand(50)*100).sort_ 阅读全文

摘要： 1.Ajax介绍 Ajax，全称为Asynchronous JavaScript and XML，即异步的JavaScript和XML。 它不是一门编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。发送Ajax请求到网页更新过程，简 阅读全文

摘要： Pandas 有着强大的日期数据处理功能，主要包括以下三个方面：按日期筛选数据、按日期显示数据、按日期统计数据 1、读取数据 import pandas as pd df = pd.read_csv('date.csv', header=None) print(df.head(2)) >>>输出结果 阅读全文

摘要： 1、vlookup功能： 2、对比两列差异 需求：对比sale的订单明细号与sale_guang订单明细号的差异 SELECT * from sale a WHERE a.ordernum not in (SELECT b.ordernum from sale_guang b); 3、去除重复值 需 阅读全文

摘要： 1、柱状图 展示多个分类的数据变化和同类别各变量之间的比较情况。 适用：对比分类数据。局限：分类过多则无法展示数据特点。相似图表： 堆积柱状图。比较同类别各变量和不同类别变量总和差异。 百分比堆积柱状图。适合展示同类别的每个变量的比例。 2、条形图 类似柱状图。 适用：类别名称过长，将有大量空白位置 阅读全文

摘要： 1、先上个图看下网页版数据、mysql结构化数据 2、分析思路： 该网页主要采用动态加载来实现的，通过刷新页面查看URL，最终发现想要的数据，在js链接当中，进行头文件分析，构造URL，完成数据获取 数据存储方式上，尝试了Python单条读写mysql、利用Pandas构造DataFrame存储，2 阅读全文

摘要： 本次主要是抓取开盘啦股票概念数据 采用多进程、requests完成数据的爬取 采用Pandas库完成数据比对，实现mysql数据存储 具体代码如下： # -*- coding: utf-8 -*- import pandas as pd import tushare as ts import tim 阅读全文

摘要： Tushare接口数据请求：分当天、历史两种情况。通过flag标签控制 由于部分接口请求限制,采用offset限制每次请求数量,time.sleep控制请求间隔时间 部分数据才用drop_duplicates(keep=False)去除所有重复数据 数据利用pandas写入mysql数据库。 数据表 阅读全文

摘要： stock_basic_data：股票列表 stk_code varchar(12) not null primary key unique 股票代码，有后缀symbol varchar(12) 股票代码，无后缀 stk_name varchar(30) 股票名称 city varchar(60) 阅读全文