随笔分类 - 机器学习
摘要：机器学习基础 1. 基础概念和术语 样本（\(\text{sample}\)）/ 实例(\(\text{instance}\)) 我们获得的数据集中的一条数据，被称为一个 样本（\(\text{sample}\)）/ 实例(\(\text{instance}\))，在不存在数据缺失的情况下，所有样本
阅读全文
摘要：KNN 1. KNN 算法 （\(k\) 近邻） \(k\) 近邻学习 (\(\text{k-nearest} \; \text{neighbor}, \; k\text{-NN}\)) 是一种常用的监督学习方法，思路非常简单：给定一个样本数据集，对于每个输入的测试样本，在训练集中找到与该测试样本
阅读全文
摘要：SVM 支持向量机 1. 线性 SVM 1.1 线性可分问题 给定一个训练样本集 \(D = \{(x_1, y_1), (x_2, y_2), ... , (x_n, y_n)\}, \; y_i \in \{-1, +1\}\)。假设两个点集 \(D_0\) 和 \(D_1\)，且 \(D_0
阅读全文
摘要：PCA 主成分分析 1. 特征值分解 1.1 特征值分解的前提 矩阵是 方阵 矩阵是 可对角化的，即通过相似变化转化为对角矩阵。（相似变换 不会改变矩阵的特征值和特征向量 ） 矩阵的特征向量 线性无关，保证了特征值分解的 唯一性。 1.2 特征值分解 给定一个矩阵 \(A \in \mathbb{R
阅读全文
摘要：岭回归、LASSO回归 1. 岭回归 1.1 岭回归 L2正则化 在之前的 中，使用 最小二乘法求解线性回归问题 时，讨论到了 \(X^TX\) 是否可逆。 最小二乘法得到的解析解为： \[\theta = (X^TX)^{-1}X^Ty \]此时只有 \(X\) 列满秩 才有解，即 \(\text
阅读全文
摘要：BGD, SGD, MBGD 1. BGD 批量梯度下降法（Batch Gradient Descent） 1.1 批量梯度下降法介绍 在 梯度下降法 每次迭代中，将 所有样本 用来进行参数 \(\theta\) （梯度）的更新，这其实就是 批量梯度下降法。 批量梯度下降法 的 损失函数表达式： \
阅读全文
摘要：Grandient Descent 1. 梯度下降法 1.1 梯度与梯度下降 对于 一元函数 来说，梯度就是函数的导数；对于 多元函数 来说，梯度是一个由函数所有 偏微分 组成的向量。 梯度下降 是通过一步步迭代，使得所有 偏微分 的值达到最低。 可以以简单的 一元二次函数 \(y = (x - 1
阅读全文
摘要：Linear Regression 1. 一元线性回归 定义一个一次函数如下： \[y = \theta_0 + \theta_1 x \]其中 \(\theta\) 被称为函数的 参数。显然在坐标图上，这个函数的图像是一条直线，这也是 线性回归 中的 线性 含义所在。 只有 一个 \(x\) 来预
阅读全文
摘要：Spectral Clustering 谱聚类 1. 邻接矩阵 无向图 \(G = (V, E)\)，所有顶点之间的权重构成一个 \(n \times n\) 的矩阵： \[W = \begin{bmatrix} w_{11} & w_{12} & \cdots & w_{1n} \\ w_{21}
阅读全文
摘要：Cluster (KMeans实现) 1. KMeans 介绍及符号说明 给定样本集 \(D = \{ \mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_m \}\)，\(\text{KMeans}\) 算法针对聚类所得的簇划分 \(\mathcal C = \
阅读全文
摘要：RNN 循环神经网络 1. RNN 1.1 RNN 示意图及时序展开 \(x^{(t)}\) 表示输入层的输入 \(U\) 为输入层到隐藏层的权值参数 \(h^{(t)}\) 表示隐藏层的输出，激活函数一般为 \(\text{tanh}\) 或 \(\text{ReLU}\) \(W\) 为上一时刻
阅读全文
摘要：CNN 卷积神经网络 1. 二维卷积公式（机器学习） \[O(i, j) = \sum^{kh}_{i = 0} \sum^{kw}_{j = 0} w(i, j) * I(i + kh, j + kw) \]上述公式中，\(O\) 为输出矩阵，\(I\) 为输入矩阵，\(w\) 为卷积核，\(kh
阅读全文
浙公网安备 33010602011771号