rdcamelot

摘要： 能量函数 无向模型中许多有趣的理论结果都依赖于\(\forall x, \tilde{p}(x) > 0\)这个假设。使这个条件满足的一种简单方式是使用基于能量的模型，其中 \[\tilde{p}(\mathbf{x}) = \exp(-E(\mathbf{x})), \]\(E(\mathbf{x 阅读全文

摘要： 循环神经网络(RNN)是一类用于处理序列数据的神经网络。 传统的全连接前馈网络会给每个输入特征分配一个单独的参数，所以需要分别学习句子每个位置的所有语言规则。相比之下，循环神经网络在几个时间步内共享相同的权重，不需要分别学习句子每个位置的所有语言规则。 这种想法有点类似于在一维时间序列上使用卷积，这 阅读全文

摘要： 卷积神经网络的一个重要思想是参数共享 卷积神经网络(CNN)是一种专门用来处理具有类似网络结构的数据的神经网络，例如时间序列数据和图像数据 卷积运算 卷积是对两个实变函数的一种运算 在卷积网络的术语中，卷积的第一个参数（在这个例子中，函数 x）通常叫做输入，第二个参数（函数 w）叫做核函数。输出有时 阅读全文

摘要： 对抗训练 为了探索网络对底层任务的理解层次，我们可以探索这个模型错误分类的例子 例如对于两个非常接近的输入点，网络会做出非常不同的预测 因此可以通过对抗训练：在对抗扰动的训练集样本上训练网络，来减少原有独立同分布的测试集的错误率 这些对抗样本的主要原因之一是过度线性。神经网络主要是基于线性块构建的。 阅读全文

摘要： 多层感知机(MLP)，又称为深度前馈网络 这种模型被称为前向的，是因为信息流过x的函数，流经用于定义f的中间过程，最终到达输出y 在模型的输出和模型本身之间并没有反馈连接 线性模型不能理解两个输入变量之间的相互作用，因为其指保证了输入和输出的线性关系 为了扩展线性模型来表示x的非线性函数，可以不把线 阅读全文

摘要： 简单的机器学习算法的性能在很大程度上依赖于给定数据的表示，表示的选择会对机器学习算法产生巨大的影响 但是特征的选择或者如何进行表示较为困难，因此一种想法就是使用机器学习本身来发掘表示本身，而不仅仅把表示映射到输出 将这种方法称之为表示学习 表示学习算法的典型例子是自编码器，编码器函数将输入数据转换为 阅读全文

摘要： 给定训练样本集\(D={(x_1,y_1),(x_2,y_2),\ldots,(x_m,y_m)},y_i \in \{-1,+1\}\)，分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开 样本空间中，划分超平面可以表示为\(w^Tx+b=0\)，其中\(w^ 阅读全文

摘要： 精确推断方法通常需要很大的计算开销，通常使用近似推断方法 近似推断方法大致可分为两大类：第一类是采样，通过使用随机化方法完成近似；第二类是使用确定性近似完成近似推断，典型代表为变分推断 MCMC采样 采样法正是基于这个思路。具体来说，假定我们的目标是计算函数 \(f(x)\) 在概率密度函数 \(p 阅读全文

摘要： 机器学习最重要的任务，是根据一些已观察到的证据（例如训练样本）来对感兴趣的未知变量（例如类别标记）进行估计和推测。概率模型提供了一种描述框架，将学习任务归结于计算变量的概率分布。 在概率模型中，利用已知变量推测未知变量的分布称为“推断”，其核心是如何基于可观测变量推测出未知变量的条件分布. 监督学习 阅读全文

摘要： 将属性称为特征，把对当前学习任务有用的属性称为“相关特征”、没用的特征称为“无关特征”，从给定的特征集合中选择出相关特征子集的过程，称为“特征选择” 特征选择是一个数据预处理过程，和降维一样也可以减缓维数灾难问题，不过它们的区别在于： 特征选择是选择一部分原始特征，不改变特征的含义，只是减少特征的数 阅读全文