摘要：
1.one-of-N encoding 与word embedding 2.Word Embedding (1)生成词向量是无监督的 (2)word embedding 的含义 <1>在没有监督的情况下通过阅读大量文档来机器学习单词的含义 <2>一个词可以通过上下文来理解 (3)如何利用上下文 <1 阅读全文
posted @ 2020-06-14 21:48
雨后观山色
阅读(689)
评论(0)
推荐(0)
摘要：
1.案例引出 RNN-based network 总是不容易学习。 下图展示了语言模型的损失函数与训练周期的关系。蓝色是理想的损失函数走势图，绿色是实际试验中可能出现的损失值。 损失函数存在突变的现象： 下图中可见Loss 函数的变化情况，左侧的损失函数较大，右侧的损失函数较小，存在剧烈变化的现象。 阅读全文
posted @ 2020-06-14 18:59
雨后观山色
阅读(282)
评论(0)
推荐(0)
摘要：
1.RNN导出案例 Neural network needs memory 加入记忆元素的案例： 2.RNN的结构 当神经网络有了记忆后，由于存储在memory中的值不同，模型的输出也会不同。 当然，RNN的结构可以是深层的。 3.Bidirectional RNN 双向的循环神经网络 双向RNN的 阅读全文
posted @ 2020-06-14 16:57
雨后观山色
阅读(350)
评论(0)
推荐(0)
摘要：
1.CNN总体架构 (1)convolution 卷积 计算方法：对应位置相乘，再将9个格子的乘积结果相加(內积)。 卷积神经网络与全连接的神经网络的区别： 将下图中的6*6的矩阵拉直成一个列向量，则下图中右边部分的4*4矩阵的第一个3是由部分值与filter的3*3矩阵內积而来 <1>卷积神经网络 阅读全文
posted @ 2020-06-14 14:56
雨后观山色
阅读(284)
评论(0)
推荐(0)
摘要：
1.深度学习的发展历程 2.深度学习的三大步 (1)前馈神经网络： 神经网络的结构： 矩阵运算： 运算过程： x为（x1,x2,.....xn）,b为(b1,b2,...bn) 特征工程结构图： 案例： 此案例中输入，输出已经确定，需要设置神经网络的结构 可能出现的问题： 问题1：需要多少层，每层需 阅读全文
posted @ 2020-06-14 11:09
雨后观山色
阅读(556)
评论(0)
推荐(0)
摘要：
1.课程架构 机器学习就是自动找函式。 图例解释： 2.监督学习 上图中，需要给定足够的训练样本(数据要有标注)。 损失函数，Loss越小越好。 3.有监督学习与强化学习 Life-long learning 终身学习 Transfer learning 迁移学习 Unsupervised Lear 阅读全文
posted @ 2020-06-14 08:57
雨后观山色
阅读(330)
评论(0)
推荐(0)
浙公网安备 33010602011771号