雨后观山色

摘要： 1.RNN的典型应用 (1)机器翻译,序列到序列(自然语言处理，NLP) (2)看图说话，就是描述图片的内容。 2.RNN的应用背景 RNN与CNN最大的不同就是引入了记忆的概念，就是输出依赖输入和记忆。 3.RNN的结构 注意：St公式中的U和W表示权重矩阵，Ot公式中的V也是权重矩阵。 RNN结 阅读全文

摘要： 分析步骤： 第一步：将one-hot形式分词结果作为输入([0,1,0....,0]的列向量的V*1维词向量)，与投影矩阵C(D*V维度)相乘，得到D*1维的向量 第2步：将第一步的输出结果做拼接，作为隐藏层的输入。 第3步：经过一个全连接的神经网络，经过激励层，再softmax,得到该词出现的概率 阅读全文

摘要： 1.自然语言处理(NLP) 以上任务的处理方法： 其中，P(A1A2...An-1An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1A2...An-1),这是条件概率公式的推广。 新的概念：用一个词的附近的其他词来表示该词。 上图中，I附近有like出现的语料次数为2次。 奇 阅读全文

摘要： 正向传播可以理解为高考做练习题，知道自己和标准答案之间的差距，反向传播回传误差，可以知道自己那块知识点不好，也就是修改神经元的权重W。 SGD 随机梯度下降--mini-batch 反向传播--利用链式求导法则。 更新w5的值。 阅读全文

摘要： 1.双向RNN 阅读全文

摘要： 1.RNN的应用背景 序列的模型类型： 应用场景： (1) 一到多，从图片中提取内容，将其描述为文字。 (2)多到一，代表：文本分类，视频鉴别 (3)多到多，代表：视频的文本描述，将视频的内容描述为文本 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解 阅读全文

摘要： 1.CNN的应用方向 图像相关的任务： 2.各种框架比较 (1)caffe caffe的训练步骤： (2)torch (3)tensorflow 总结： 阅读全文

摘要： 1.CNN训练的相关注意事项 CNN采用SDG梯度下降法 正则化 先把正则化调小，观察loss是否下降 可以把Dropout理解为给神经元加了一个开关 dropout能够防止过拟合。 2.框架相关 阅读全文

摘要： 1.神经网络的结构 注意：下图中的g函数为sigmoid函数 总结：因此，当神经网络的层数足够时，可以描述任意区域形状。 上图中的符号说明： 参数说明如下图：depth为神经元个数，步长为窗口每次移动的距离，填充值是使得上图中的宽度能被整除，所加的值 计算方法：每个对应的位置的元素相乘，再加上偏移量 阅读全文

摘要： 1.添加maven依赖 <dependency> <groupId>com.itextpdf</groupId> <artifactId>itextpdf</artifactId> <version>5.5.6</version> </dependency> 2.获得透明的png格式的电子印章图片的 阅读全文