KK——数据分析

摘要： 信息熵： 生活中的所见所闻，都接触到许许多多的信息，有的信息对我们有用，有的无用。如 “地球是自转的”，这条信息对我们没什么用，因为我们都知道，而且是确确实实是这样的。香农用信息熵的概念来描述信源的不确定度，变量的不确定性越大，熵也就越大。 在某个事件中，如果不发生的概率为0，那么可以确定信息熵为0 阅读全文

摘要： 多元函数拟合。如 电视机和收音机价格多销售额的影响，此时自变量有两个。 python 解法： 拟合的各项评估结果和参数都打印出来了，其中结果函数为： f(sales) = β0 + β1*[TV] + β2*[radio] f(sales) = 2.9211 + 0.0458 * [TV] + 0. 阅读全文

摘要： 通过 1至10 阶来拟合对比 均方误差及R评分，可以确定最优的“最大阶数”。 因为因变量 Y = 2*(X**4) + X**2 + 9*X + 2 ，自变量和因变量是完整的公式，看图很明显，degree >=4 的都符合，拟合函数都正确。（RMSE 最小，R平方非负且接近于1，则模型最好） 如果将 阅读全文

摘要： import numpy as np import pandas as pd import matplotlib.pyplot as plt import matplotlib.patches as mpatches from scipy.interpolate import spline x = np.arange(-5,11) y = x**3 + 2*(x**2) + x + 2 y2... 阅读全文

摘要： 一元一阶线性拟合： 假设存在一条线性函数尽量能满足所有的点：y=ax+b .对所有点的的公式为： 残差值β = 实际值y - 估计值y，β 应尽量小，当 β = 0 时，则完全符合一元线性方程：y=ax+b 通过最小二乘法计算残差和最小： 根据微积分，当 Q 对 a、b 的一阶偏导数为了0时，Q 达 阅读全文

摘要： 原始数据，如按年龄离散化 。首先元素各值频数的分布。 WOE（Weight of Evidence）反映了自变量对因变量的预测能力。 IV（Information Value）在预测模型中选择最重要的变量是最有用的技术之一。用于根据变量的重要性排列变量。 简化： 结果： IV 值经验规则： IV < 阅读全文

摘要： 卡方检验是一种用途很广的计数资料的假设检验方法。它属于非参数检验的范畴，主要是比较两个及两个以上样本率( 构成比）以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。（更多参考：卡方检验、卡方分布） 不讲过多理论，主要使用 python 实现卡方验证。之前 阅读全文

摘要： 【随机变量】 设随机实验的样本空间是 S=|e| ，X = X(e) 是定义在样本空间S上的实值单值函数，称 X = X(e) 为随机变量。 【概率分布率】 设随机变量 X ，其所有可能去的不同值为： 取各个值的可能的概率分别为： 即： 若该公式满足以下条件，则称为随机变量X的概率分布率，简称分布率 阅读全文

摘要： 概率论——随机事件及其概率 阅读全文