随笔分类 - 人工智能
摘要：蒙特卡罗算法，是一类随机算法，用于求近似解。 1、Las Vegas（拉斯维加斯）算法和蒙特卡罗算法 两者都是随机算法。 前者：要么正确解，要么错误解。采样越多，越有可能得到正确解。 后者：近似解。采样越多，越接近正确解。 2、无偏估计、大数定律、中心极限定理 没有系统误差，估计量的期望等于估计参数
阅读全文
摘要：支持向量机（Support Vector Machine，简称SVM），属于监督学习。 核技巧（kernel trick） 名字很吓人，乍一听完全不懂什么意思，但其实它的名字是很有意义的。 1）首先，要清楚空间中点和向量的联系：一个点可以看成是以原点为起点，该点为终点的向量。例如，二维空间中，向量(
阅读全文
摘要：矩阵求导 参考链接： https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities
阅读全文
摘要：最小二乘法 参考链接： https://zhuanlan.zhihu.com/p/27204466
阅读全文
摘要：前馈神经网络（Feedforward Neural Network，简称FNN），也叫多层感知机（Multilayer Perceptron，简称MLP）。FNN的目标是通过学习参数θ，得到最佳的函数y=f(x;θ)，例如分类器，输入x，输出类别y。 1、前馈 也叫前向，信息单向流动，从输入层到隐藏
阅读全文
摘要：循环神经网络（Recurrent Neural Network，简称RNN），通常用于处理序列数据。正如卷积神经网络通常用于处理网格数据（例如图像）一样。 1、展开计算图 输入、输出、记忆 权值 2、双向RNN 3、长期依赖 4、门控RNN（gated RNN） 长短期记忆（long short-t
阅读全文
摘要：深度学习是机器学习的一个特定分支。 1、学习算法 对于某类任务T和性能度量P， 2、线性回归 3、正规方程（normal equation） 4、监督学习（supervised learning） 5、无监督学习（unsupervised learning）
阅读全文
摘要：梯度下降（gradient descent），是一种用于最优化（通常是最小化），代价函数/损失函数/目标函数/误差函数/准则，的方法。 不过，最值有时很难找到，尤其是在高维情况下，所以常常把局部最优解看作全局最优解。 1、导数 f(x)在x处的斜率。 2、临界点（critical point）/驻点
阅读全文
摘要：数值计算，通过迭代来更新解的估计值。 1、上溢和下溢 实数按照一定的精度存储在计算机中，通常存在误差，进而可能导致一些错误。 1）下溢（underflow），例如接近0的数 2）上溢（overflow）， 2、约束优化 约束优化（constrained optimization），
阅读全文
摘要：主成分分析（principal components analysis，简称PCA），
阅读全文
摘要：1、标量、向量、矩阵和张量 1）标量（scalar），一个数，例如自然数和实数。 2）向量（vector），一列有序数。可以看作只有一列的矩阵。 3）矩阵（matrix），二维数组。转置（transpose），关于主对角线（从左上角到右下角）对称。 4）张量（tensor），高维数组。 2、矩阵和向
阅读全文
浙公网安备 33010602011771号