Python数据分析与挖掘实战笔记
（声明：这些代码只是看书的时候跟着敲一敲，留个印象，为的是以后用到有个方便快速查找看个思路，并没有真正运行。）
数据挖掘建模过程
- 数据挖掘建模过程：
- 定义挖掘目标：明确挖掘目标，弄清用户需求。
- 数据采样：
- 采样标准（相关性、可靠性、有效性）
- 采样方法：随机、分层、等距
- 数据探索：进行探索、审核和加工
- 异常值分析
- 缺失值分析
- 相关分析
- 周期性分析
- 数据预处理
- 数据筛选
- 数据变量转换
- 缺失值处理
- 坏数据处理
- 数据标准化
- 主成分分析
- 属性选择
- 数据规约
- 数据建模
- 数据评价
数据探索：
数据探索：通过检验数据集数据质量、绘制图表、计算某些特征等手段，对样本数据集的结构和规律进行分析的过程。
数据分析主要任务是检查原始数据中是否存在脏数据，主要检查缺失值、异常值和一致性。
- 数据检查
- 缺失数据
- 原因
- 信息无法获取
- 信息被遗漏
- 属性值不存在
- 影响
- 丢失大量信息
- 增加不确定性
- 分析
- 每个属性未缺失数，缺失数和缺失率
- 原因
- 异常值分析：也称离群点分析
- 统计量分析
- 3\(\sigma\)原则（正太分布）
- 箱型图分析（四分位法）
- 一致性分析
- 数据源不同，导致同一个属性值不同
- 缺失数据
- 数据特征分析
- 分布分析
- 定量分析：频率分布表、频率分布直方图、绘制茎叶图
- 定性分类数据：饼图、条形图
- 对比分析：相联系指标比较，常用于时间维度上的指标分析
- 绝对数比较
- 相对数比较
- 结构相对数：部分数值与总体比较
- 比例相对数：同一总体内不同部分数值对比
- 比较相对数：同一时期两个性质相同指标值对比
- 强度相对数：性质不同但有一定联系的总量指标进行对比
- 计划完成程度相对数：实际完成数与计划数对比
- 动态相对数：同一现象不同时期指标指数进行对比，说明方向和速度
- 统计量分析
- 集中趋势度量
- 均值
- 中位数
- 众数
- 离中趋势度量
- 极差
- 标准差
- 变异系数（\(\frac{s}{\bar{x}}*100%\)）
- 四分位数间距
- 周期性分析：周期性分析是探索某个变量是否随着时间变化而呈现出某种周期变化趋势
- 贡献度分析：帕累托分析，又称2/8定律。
- 相关性分析：分析连续变量之间线性相关程度的强弱
- 散点图（散点矩阵图）
- 计算相关系数
- pearson相关系数：\(r=\frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y}))}{\sqrt{\sum_{i=1}^n(x_i-\bar{y})^2\sum_{i=1}^n(y_i-\bar{y})^2}}\)
- Spearman秩相关系数：\(r_s=1-\frac{6\sum_{i=1}^n(R_i-Q_i)^2}{n(n^2-1)}, R_i代表x_i的秩，Q_i代表y_i的秩次，R_i-Q_I为x_i和y_i的秩次差\)
- 集中趋势度量
- 分布分析
定量分析
步骤：
-
求极差（最大与最小）
-
决定组距与组数
-
决定分点
-
列出频率分布表
-
绘制频率分布直方图
原则： -
组间相互互斥
-
包含所有数据
-
组宽相等
代码
异常值检测代码
import dandas as pd
import matplotlib.pyplot as plt
data = pd.DataFrame()
plt.rcParams['font.sans-serif'] = ['SimHei'] # 显示中文
plt.rcParams['axes.unicode_minus'] = False # 显示负号
plt.figure()
p = data.boxplot() # 用pandas直接画箱线图
x = p['fliers'][0].get_xdata() # 'flies'异常值标签
y = p['fliers'][0].get_ydata()
y.sort()
# 用annotate添加注释
for i in range(len(x)):
if i>0:
plt.annotate(y[i], xy=(x[i], y[i]), xytext=(x[i] + 0.05 - 0.8 / (y[i] - y[i-1]),y[i]))
else:
plt.annotate(y[i], xy=(x[i], y[i]), xytext=(x[i] + 0.08 ,y[i]))
plt.show() # 展示箱线图
统计量分析
from __future__ import print_function
import pandas as pd
data = pd.DataFrame()
data = data[col_name]
statistics = data.describe() # 保存基本统计量
statistics.loc['range'] = statistics.loc['max'] - statistics.loc['min'] #极差
statistics.loc['var'] = statistics.loc['std'] / statistics.loc['mean'] # 变异系数
statistics.loc['dis'] = statistics.loc['75%'] - staticstics.loc['25%'] # 四分位数间距
帕累托图代码
from __future__ import print_function
import pandas as pd
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
data = pd.DataFrame()
data = data[col_name].copy()
data.sort_index(ascending = False)
plt.figure()
data.plot(kind='bar')
plt.ylabel('col_name')
p = 1 * data.cumsum() /data.sum()
p.plot(color='r', secondary_y=True, style='-o', linewidth=2)
plt.annotate(format(p[x],'.4%'), xy=(x, p[6]), xytext=(x*0.9, p[x]*0.9),arrowprops=dict(arrowstyle='->', connectionstyle="arc3, rad=.2")) # 添加注释，x表示第x处是0.85%,指定箭头样式
plt.ylabel('xxx')
plt.show()
相关性分析代码
from __future__ import print_function
import pandas as pd
data=pd.DataFrame()
data.corr(method='pearson|spearman|kendall') 相关系数矩阵
data.corr()['col_name'] # 某一个与其他相关系数
data['col_name1'].corr(data['col_name2']) # 计算col_name1与2相关系数
数据预处理
数据预处理主要包括：数据清洗、数据集成、数据变换与数据规约。
- 数据清洗
- 缺失值处理
- 删除记录
- 数据插补
- 均值/中位数/众数插补
- 使用固定值
- 最近临插补
- 回归方法
- 插值法
- 不处理
- 异常值处理
- 删除含有异常值的记录
- 视为缺失值
- 平均值修正：用前后的平均值修正
- 不处理
- 缺失值处理
- 数据集成（针对不同的数据源整合）
- 实体识别
- 同名异义：数据源甲的名字与乙的名字相同，含义不同，比如用户表的id与商品表的id就不同。
- 异名同义：数据源甲的名字与乙的名字不同，但是含义其实相同，比如用户表的id与商品表的uid就是同一个东西。
- 单位不统一：比如国际单位就与中华传统的计量单位不同。
- 冗余属性识别
- 同一属性多次出现
- 同一属性命名不一致导致重复
- 实体识别
- 数据变换
- 简单函数变换：主要是为了非正太分布的数据变成正态分布，常用手法比如：平方、开方、取对数、差分运算
- 规范化：消除指标之间的量纲和取值范围差异的影响。
- 最大-最小规范化
- 零-均值规范化
- 小数定标规范化
- 连续属性离散化：取值范围内设定若干离散的划分点
- 等宽法
- 等频法
- 基于聚类分析
- 属性构造：利用以有的属性构造新的属性
- 小波变换
- 数据规约
- 属性规约方法
- 合并
- 逐步向前选择
- 逐步向后删除
- 决策树归纳
- 主成分分析
- 数值规约
- 直方图
- 聚类
- 抽样
- 聚类抽样
- 分层抽样
- 属性规约方法
拉格朗日插值法
如果有n个点，那么可以找到一条曲线，通过n-1个点找到第n个点，即\(y=a_0+a_1x+a_2x^2+...+a_{n-1}x^{n-1}\),然后通过n-1个点，计算出这个表达式。
代码
拉格朗日法插值
import pandas as pd
from scipy.interpolate import lagrange # 导入拉格朗日插值
data = pd.DataFrame()
def ployinterpColumn(s, n, k=5):
y=s[list(range(n-k,n))+list(range(n+1, n+1+k))] #取数
y=y[y.notnull()] # 过滤空值
return lagrange(y.index, list(y))(n)
for i in data.columns:
for j in range(len(data)):
if(data[i].isnull())[j]:
data[i][j] = ployinterpColumn(data[i],j)
规范化代码
import pandas as pd
data = pd.DataFrame()
(data - data.min()) / (data.max() - data.min())
(data - data.mean()) / data.std()
data/10**np.ceil(np.log10(data.abs().max()))) # 小数定标规范化
数据离散化
import pandas as pd
from sklearn.cluster import KMeans # 引入KMeas
data = pd.Series()
k = 4
# 等宽
d1 = pd.cut(data, k， labels = range(k))
# 等频率离散化
w = [1*i/k for i in range(k+1)]
w = data.describe(percentiles = w)[4:4+k*1]
w[0] = w[0]*(1-1e-10)
d2 = pd.cut(data,w,labels = range(k))
kmodel = KMeans(n_clusters=k, n_jobs = 4)
kmodel.fit(data, reshape((len(data), 1)))
c = pd.DataFrame(kmodel.cluster_centers_).sort(0) #输出聚类中心并排序
w=c.rolling(2).mean().iloc[1:] # 相邻两项求中点，作为边界点
w=[0] + list(w[0]) + [data.max()]) # 把首末边界点加上
d3 = pd.cut(data, w, labels=range(k))
def clusterPlot(d,k)
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.figure(figsize = (8,3))
for j in range(0, k):
plt.plot(data[d==j], [j for i in d[d==j]], 'o')
plt.ylim(-0.5, k-0.5)
return plt
clusterPlot(d1,k).show()
clusterPlot(d2,k).show()
clusterPlot(d3,k).show()
小波变换
import pywt
coeffs = pywt.wavedec(signal, 'bior3.7', level=5)
挖掘建模
- 分类与回归
- 回归分析
- 线性回归
- 非线性回归
- Logistic回归
- 岭回归
- 主成分回归
- 决策树
- ID3
- C4.5
- CART算法
- 人工神经网络
- 激活函数
- 域值函数
- 分段线性函数
- 非线性转移函数
- Relu函数
- 网络算法
- BP
- LM
- RBF
- FNN
- GMDH
- ANFIS
- 激活函数
- 贝叶斯网络
- 支持向量机
- 评价指标
- 回归
- 绝对误差AE/相对误差RE
- 平均绝对误差MAE
- 均方误差MSE
- 均方根误差RMSE
- 分类
- Kappa统计
- 准确度Accuracy:\(\frac{TP+FN}{TP+TN+FP+FN}\)
- 识别精确率Precision:\(\frac{TP}{TP+FP}\)
- 召回率：\(\frac{TP}{TP+TN}\)
- ROC
- 混淆矩阵
- 回归
- 回归分析
- 聚类分析
- 方法（sklearn.cluster）
- 划分方法
- K-Means
- K-MEDOIDS
- CLARANS
- 层次分析方法
- BIRCH算法
- CURE算法
- CHAMELEON算法
- 基于密度的方法
- DBSCAN算法
- DENCLUE算法
- OPTICS算法
- 基于网格方法
- STING算法
- CLIOUE算法
- WAVE-CLUSTER算法
- 基于模型的方法
- 统计学方法
- 神经网络方法
- 划分方法
- 指标
- purtity评价法
- RI评价法
- F值评价法
- 方法（sklearn.cluster）
- 关联规则
- 算法
- Apriori
- FP-tree
- Eclat
- 灰色关联法
- 算法
- 时序模式（statsmodels）
- 算法
- 平滑法
- 趋势拟合法
- 组合模型
- AR模型
- MA模型
- ARMA模型
- ARIMA模型
- ARCH
- GARCH
- 预处理
- 平稳性检验
- 时序图检验
- 自相关图检验
- 纯随机性检验
- 平稳性检验
- 算法
- 离群点检测
- 算法
- 基于统计
- 基于邻近度
- 基于密度
- 基于聚类
- 算法
Apriori
相关知识
关联规则支持度：
\(Support(A\Rightarrow B)=P(A\cup B)=\frac{Count(A\cup B)}{Total}, Count(A\cup B) 表示A与B同时发生事件\)
关联规则置信度：
\(Confidence(A\Rightarrow B) = P(A|B) = \frac{Count(A \cup B)}{Total(A)}\)
算法
找出最大的频繁子项集
性质：
如果向不是频繁项的I加入事务A，那么其还是不会成为频率项集。
过程：
找出所有的频繁项集，最终找出最大频繁项集
先对1项候选集，计算支持度、置信度，取大于阈值的作为\(C_1\);二项候选集就用\(C_1\)与\(C_1\)组合，计算支持度、置信度，取大于阈值的作为\(C_2\);第i项，用\(C_{i-1}\)与\(C_1\)结合，计算支持度、置信度，取大于阈值的作为\(C_i\)
代码
LR算法
import pandas as pd
from sklearn.linear_model import LogisticRegression
from sklearn.linear_model import RandomizedLogisticRegression
rlr = RandomizedLogisticRegression()
rlr.fit(x,y)
rlr.get_support() # 获取特征筛选结果，也可以通过.scores_方法获取各个特征分数
x=data[data.columns[rlr.get_support()]].as_matrix()
lr = LogisticRegression()
lr.fit(x,y)
print('训练结果：{}'.format(lr.score(x,y)))
决策树
import pandas as pd
from sklearn.tree import DecisionTreeClassifier
from sklearn.tree import export_graphviz
from sklearn.externals.six import StringIO
data = pd.DataFrame()
dtc=DecisionTreeClassifier(criterion='entropy')
dtc.fit(x,y)
with open('tree.dot', 'w') as f:
f = export_graphviz(dtc, feature_name=x.columns, out_file=f) # 事后可以用Graphviz查看dot -Tpdf tree.dot -o tree.pdf
混淆矩阵
from cm_plot import
cm_plot(y, y_pre).show
Kmeans
import pandas as pd
from sklearn.cluster import KMeans
data = pd.DataFrame()
k = 3
iteration = 500
model = KMeans(n_clusters = k, n_jobs=4, max_iter=iteration)
model.fit(data)
r1 = pd.Series(model.labels_).value_counts() # 统计各个类别数目
r2 = pd.DataFrame(model.cluster_centers_) # 找出聚类中心
r=pd.concat([r2,r1], axis=1)
print(r)
r=pd.concat([data, pd.Series(model.labels_, index = data.index)], axis=1)
r.columns = list(data.columns) + ['聚类类别']
import matplotlib.pyplot as plt
def densityPlot(data, title):
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.figure()
for i in range(len(data.iloc[0])):
(data.iloc[:,i]).plot(kind='kde', label=data.columns[i], linewidth=2)
plt.ylabel('密度')
plt.xlabel('人数')
plt.title('聚类类别{}各属性密度曲线'.format(title))
plt.legend()
return plt
'''聚类后的概率密度图'''
def densityPlot(data):
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.figure()
p = data.plot(kind='kde', linewidth=2, subplots = True, sharex = False)
plt.ylabel('密度')
plt.xlabel('人数')
plt.title('聚类类别{}各属性密度曲线'.format(title))
plt.legend()
return plt
TSNE数据降维
from sklearn.mainfold import TSNE
import matplotlib.pyplot as plt
tsne = TSNE()
tsne.fit_transform(data)
tsne = pd.DataFrame(tsne.embedding_, index = data.index)
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
d = tsne[r[u'聚类类别']==0]
plt.plot(d[0], d[1], 'r.')
d = tsne[r[u'聚类类别']==1]
plt.plot(d[0], d[1], 'go')
d = tsne[r[u'聚类类别']==2]
plt.plot(d[0], d[1], 'b*')
plt.show()
离群点检测
import numpy as np
import pandas as pd
from sklearn.cluster import KMeans
k = 3
threshold = 2
iteration =500
data = pd.DataFrame()
data_zs = 1.0 * (data - data.mean) / data.std()
model = KMeans(n_clusters = k, n_jobs = 4, max_iter = iteration)
model.fit(data_zs)
r = pd.concat([data_zs, pd.Series(model.labels_, index=data.index)], axis = 1)
r.columns = list(data.columns) + ['类别']
norm = []
for i in range(len(data_zs)):
norm_tmp = data_zs[i][['r','f','m']] - model.cluster_centers_[model.labels_[i]]
norm_tmp = norm_tmp.apply(np.linalg.norm, axis = 1) # 求出绝对值
norm.append(norm_tmp)
norm = pd.concat(norm)
data_sz['abnormal'] = (normal >= threshold).astype(int)
时序框架
import pandas as pd
from statsmodels.stats.diagnostic import acorr_ljungbox
from statsmodels.tsa.statools import adfuller as ADF
from statsmodels.tsa.arima_model import ARIMA
# 平衡性检验
data = pd.Series()
diff = []
adf = ADF(data)
while adf[1] >= 0.05 # p值小于0.05是平稳的
diff = diff + 1
adf = ADF(data.diff(diff).dropna())
print('原始序列经过{}队差分后平稳，p值为{}'.format(diff, adf[1]))
# 白噪声验证
[[lb], [p]] = acorr_ljungbox(data, lags=1)
if p< 0.05:
print('原始序列为非白噪声序列，对应p值为{}'。format(p))
else:
print('原始序列为白噪声序列，对应p值为{}'。format(p))
[[lb], [p]] = acorr_ljungbox(data.diff().dropna(), lags=1)
if p < 0.05:
print('一阶差分序列为白噪声序列， p值为{}'.format(p))
else：
print('一阶差分序列为非白噪声序列， p值为{}'.format(p))
# 模型识别
pmax = int(len(data)/10) # 一般除数不超过length/10
qmax = int(len(data)/10) # 一般除数不超过length/10
bic_matrix = [] # bic矩阵
for p in range(pmax+1):
tmp = []
for q in range(qmax+1):
try:
tmp.append(ARIMA(data, (p,1,q))).fit().bic)
except:
tmp.append(None)
bic_matrix = pd.DataFrame(bic_matrix)
p,q = bic_matrix.stack().idxmin()
print('BIC最小值p和q值为'{}{}.format(p,q))
# 训练
arima = ARIMA(data, (0,1,1)).fit()
data_pred = arima.predict(typ = 'levels')
pred_error = (data_pred - data).dropna()
# 结果白噪声确认
lb, p = acorr_ljungbox(pred_error, lags = lagnum)
h = (p < 0.05).sum()
if h > 0:
print('不符白噪声检测')
else：
print('符合白噪声检测')
# 计算误差
abs_ = (data['预测'] - data['实际']).abs()
mae_ = abs_.mean() #mea
rmse_ = ((abs_**2).mean())** 0.5
mape_ = (abs_/data['实际']).mean()
print('平均绝对误差：{}\n 圴方根误差为：{}\n，平均绝对百分误差为:{}'.forma(mae_,rmse_,mape_))
