摘要： $\bullet$ 二维形式的柯西不等式： $$(a^{2} + b^{2})(c^{2} + d^{2}) \geq (ac + bd)^{2}$$ 当且仅当 $ad = bc$ 时等号成立。 $\bullet$ 三维形式的柯西不等式： $$(a_{1}^{2} + a_{2}^{2} + a_{ 阅读全文

摘要： 协方差用于衡量两个变量的总体误差或协同程度。两个总体 $X,Y$ 之间的协方差定义为 $$Cov(X,Y) = E\left [ (X - E(X))(Y - E(Y)) \right ]$$ 将这个式子展开就到计算总体协方差的常用公式： $$Cov(X,Y) = E\left [ (X - E(X 阅读全文

摘要： 概率论中方差用来度量随机变量和其数学期望之间的偏离程度，也称为总体方差。 设总体为 $X$，$X_{1},X_{2},\cdots,X_{n}$ 为来自总体的样本，样本容量为 $n$，总体的数学期望和方差分别为 $\mu,\sigma^{2}$，样本均值为 $\bar{X} = \frac{1}{n 阅读全文

摘要： 支持向量机是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。 模型包括以下几类： 当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机； 当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机； 当训练样 阅读全文

摘要： 降维就是一种对高维度特征数据预处理方法。降维是将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而实现提升数据处理速度的目的。 在实际的生产和应用中，降维在一定的信息损失范围内，可以为我们节省大量的时间和成本。降维也成为应用非常广泛的数据预处理方法。 PCA(Principal Com 阅读全文

摘要： 问题：数据总量爆炸式增加，如何从中提取真正有价值的信息，产生了新的领域(DM)。几个名词： 1）Data Mining：数据挖掘 2）Knowledge Discovery：知识发现 3）Machine Learning：机器学习(机器学习是数据挖掘的一个重要工具) 4）Knowledge Disc 阅读全文

摘要： 支持向量机是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。 模型包括以下几类： 当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机； 当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机； 当训练样 阅读全文

摘要： 人工神经网络是一个数学模型，旨在模拟人脑的神经系统对复杂信息的处理机制，其网络结构是对人脑神经元网络的抽象，两者有很多相似之处。 当然 ANN 还远没有达到模拟人脑的地步，但其效果也让人眼前一亮。 1. 人工神经元结构 人工神经元是一个多输入单输出的信息处理单元，是对生物神经元的建模。建模方式可以有 阅读全文

摘要： $k-means$ 算法是无监督的聚类算法。 $k-means$ 算法的思想：对于给定的 $n$ 个样本，按照样本之间的距离大小，将样本集划分为 $k$ 个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。 假设簇划分为 $(C_{1}, C_{2},..., C_{k})$，$|C_{i} 阅读全文

摘要： Matplotlib 是 Python 的绘图库。 它可与 NumPy 一起使用，提供了一种有效的 MatLab 开源替代方案。 官方文档：https://matplotlib.org/api/。 1. 一个基本的例子 import matplotlib.pyplot as plt import n 阅读全文