摘要：1.重要的统计量 2.协方差 3.Pearson相关系数 4.协方差矩阵 5.相关系数矩阵 用来发现特征的相关性 6.独立与不相关 7.矩 8.重要的定理与不等式 ①Jenson不等式 ②切比雪夫不等式 ③大数定理 ④伯努利定理 ⑤中心极限定理 9.参数估计 ①矩估计 ②极大似然估计 阅读全文

摘要：1.回顾 凸函数加上梯度，就是最优化中最经典的问题。想象一个碗，向碗里扔一个小球，就能找到全局最低点。 2.概率论基础 3.分组问题： 4.基础概率公式 5.先验概率&后验概率 6.分布 从Taylor公式到泊松分布（任何加和为1的公式都可以看做一种概率分布）： 7.sigmoid函数 可视作一个概 阅读全文

摘要：1.夹逼定理 2.导数 3.常用求导公式 4.Taylor公式（若x0=0，转化为Maclaurin公式） 5.用Taylor公式近似计算熵 f(x)忽略高阶无穷小，H(X)是熵的计算公式。 6.方向导数与梯度 梯度：最优化的工程实现上非常重要的算法--梯度下降法 7.凸函数 直观上讲，函数曲线两点 阅读全文

摘要：一.概述 承网上的前辈所言：机器学习不是一个一个孤立的算法堆砌起来的，想要像看《算法导论》这样看机器学习是个不可取的方法．机器学习里面有几个东西一直贯穿始终，比如说数据的分布、最大似然，偏差、方差的权衡，特征选择，模型选择，混合模型等等，这些知识像砖头、水泥一样构成了机器学习里面的一个个的算法。想要 阅读全文