摘要：## 1. 决策树 ### 熵 在热力学中，熵（entropy）被用来衡量系统的不稳定程度。香农在论文《通信的数学原理》中提出信息熵的概念，目的是*量化数字信息的价值*。 #### 信息熵的定义 香农提出的量化信息方式： $$H(P_1,P_2,\cdots P_n)=-\sum^n_{i=1}P_ 阅读全文

摘要：1. 高斯过程 高斯过程（Gaussian Process）是一种假设训练数据来自无限空间且各特征都符合高斯分布（高斯分布又称“正态分布”）的有监督学习。 高斯过程是一种概率模型，在回归或分类预测都以高斯分布标准差的方式给出预测置信区间估计。 随机过程 高斯过程应用于机器学习已有数十年历史，，它来源 阅读全文

摘要：1. 支持向量机 支持向量机（Support Vector Machine, SVM）最初被用来解决线性问题，加入核函数后能够解决非线性问题。主要优点是能适应小样本数量 高维度特征的数据集，甚至是特征维度数高于训练样本数的情况。 先介绍几个概念： 最优超平面：Hyperplane，SVM通过学习数据 阅读全文

摘要：1. 梯度下降 梯度下降（Gradient Descent）是计算机计算能力有限的条件下启用的逐步逼近、迭代求解方法，在理论上不保证下降求得最优解。 e.g. 假设有三维曲面表达函数空间，长(x)、宽(y)轴为子变量，高(z)是因变量，若使用梯度下降法求解因变量最低点的步骤如下： 任取一点作为起始点 阅读全文

摘要：1. 线性模型 有监督学习是通过已知的样本产生预测模型的学习方法，任何有监督学习模型都可被想象成一个函数： $$y=f(x_1,x_2,x_3,...x_n) \tag{1-1}$$ 其中，$x_1,x_2,x_3...x_n$是模型的n维的特征值，$y$是要预测的目标值/分类，当$y$是可枚举的类 阅读全文