happyyoung's blog

摘要： 深度生成模型 1、玻尔兹曼机 阅读全文

摘要： 深度学习是机器学习的一个特定分支。 1、学习算法 对于某类任务T和性能度量P， 2、线性回归 3、正规方程（normal equation） 4、监督学习（supervised learning） 5、无监督学习（unsupervised learning） 阅读全文

摘要： 梯度下降（gradient descent），是一种用于最优化（通常是最小化），代价函数/损失函数/目标函数/误差函数/准则，的方法。 不过，最值有时很难找到，尤其是在高维情况下，所以常常把局部最优解看作全局最优解。 1、导数 f(x)在x处的斜率。 2、临界点（critical point）/驻点 阅读全文

摘要： 数值计算，通过迭代来更新解的估计值。 1、上溢和下溢 实数按照一定的精度存储在计算机中，通常存在误差，进而可能导致一些错误。 1）下溢（underflow），例如接近0的数 2）上溢（overflow）， 2、约束优化 约束优化（constrained optimization）， 阅读全文

摘要： 主成分分析（principal components analysis，简称PCA）， 阅读全文

摘要： 1、标量、向量、矩阵和张量 1）标量（scalar），一个数，例如自然数和实数。 2）向量（vector），一列有序数。可以看作只有一列的矩阵。 3）矩阵（matrix），二维数组。转置（transpose），关于主对角线（从左上角到右下角）对称。 4）张量（tensor），高维数组。 2、矩阵和向 阅读全文

摘要： 奇异值分解（Singular Value Decomposition，简称SVD），将矩阵分解为奇异向量（singular vector）和奇异值（singular value）。 每个实数矩阵都有一个奇异值分解，但是不一定有特征分解，例如非方阵的矩阵。 阅读全文

摘要： 协同过滤 阅读全文

摘要： 卷积神经网络（Convolutional Neural Network，简称CNN），顾名思义，使用了卷积。不过，这里用到的卷积和数学中的不完全一致。 1、连续卷积 2、离散卷积 3、二维离散卷积 4、卷积的可交换性 5、卷积的互相关函数 参考链接： https://www.zhihu.com/qu 阅读全文

摘要： 随机梯度下降（stochastic gradient descent） 梯度是期望 计算梯度耗时太长 阅读全文