微笑sun

摘要： tf.train.Supervisor()可以帮我们简化一些事情，可以保存模型参数和Summary，它有以下的作用： 1）自动去checkpoint加载数据或初始化数据 ，因此我们就不需要手动初始化或者从checkpoint中加载数据 2）自身有一个Saver，可以用来保存checkpoint，因此 阅读全文

摘要： tensorflow中实现batch_normalization的函数主要有两个： 1）tf.nn.moments 2）tf.nn.batch_normalization tf.nn.moments主要是用来计算均值mean和方差variance的值，这两个值被用在之后的tf.nn.batch_no 阅读全文

摘要： 在训练深度网络时，为了减少需要训练参数的个数（比如LSTM模型），或者是多机多卡并行化训练大数据、大模型等情况时，往往就需要共享变量。另外一方面是当一个深度学习模型变得非常复杂的时候，往往存在大量的变量和操作，如何避免这些变量名和操作名的唯一不重复，同时维护一个条理清晰的graph非常重要。因此，t 阅读全文

摘要： 转载自https://zhuanlan.zhihu.com/p/30751039 阅读全文

摘要： 错误的代码 错误原因： 该错误的意思是传入的数据集X的维度只有二维，而tf.nn.dynamic_rnn()要求传入的数据集的维度是三维（batch_size, squence_length, num_features）。在这里因为特征是一维，因此没有显示。 解决方案： 类似的错误： ValueEr 阅读全文

摘要： 1、贝叶斯公式 这三种方法都和贝叶斯公式有关，所以我们先来了解下贝叶斯公式： 每一项的表示如下： posterior：通过样本X得到参数的概率，也就是后验概率。 likehood：通过参数得到样本X的概率，似然函数，通常就是我们的数据集的表现。 prior：参数的先验概率，一般是根据人的先验知识来得 阅读全文

摘要： 自然语言处理的基本流程： 1）分词 2）命名实体识别，主要有人名，地名，机构名等 3）词性标注，对分词后的词语进行语义标注 4）句法分析，主要是要构建语法树，标注单词，短语，句子的语法 5）语义分析，包括两部分：语义消歧，主要是针对多义词在文中的意思；语义角色标注，主要是要标出一个句子中主谓宾状语等 阅读全文

摘要： 1、GRU概述 GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。 在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GR 阅读全文

摘要： 1、Batch Normalization的引入 在机器学习领域有个很重要的假设：IID独立同分布假设，也就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集上获得好的效果的一个基本保障。在深度学习网络中，后一层的输入是受前一层的影响的，而为了方便训练网络，我们一般都是 阅读全文

摘要： 序列标注问题是自然语言中最常见的问题，在深度学习火起来之前，常见的序列标注问题的解决方案都是借助于HMM模型，最大熵模型，CRF模型。尤其是CRF，是解决序列标注问题的主流方法。随着深度学习的发展，RNN在序列标注问题中取得了巨大的成果。而且深度学习中的end-to-end，也让序列标注问题变得更简 阅读全文