摘要：邱锡鹏 NNDL 学习笔记 阅读全文

摘要：邱锡鹏 NNDL 学习笔记 阅读全文

摘要：邱锡鹏 NNDL 学习笔记 阅读全文

摘要：邱锡鹏 NNDL 学习笔记 首先应明白什么是生成模型。 了解生成模型的两个模块：（概率）密度估计，生成样本（采样）。 在密度估计或生成样本的时候，采用神经网络的方法，就是深度生成模型。 密度估计使用NN，典型代表VAE； 生成样本使用NN，典型代表GAN。 【人工智能导论：模型与算法】生成式模型 | 阅读全文

摘要：邱锡鹏 NNDL 学习笔记 阅读全文

摘要：李沐 动手学深度学习 学习笔记 词向量是⽤于表⽰单词意义的向量，并且还可以被认为是单词的特征向量或表⽰。 将单词映射到实向量的技术称为词嵌⼊。近年来，词嵌⼊逐渐成为⾃然语⾔处理的基础知识。 虽然独热向量很容易构建，但它们通常不是⼀个好的选择。 ⼀个主要原因是独热向量不能准确表达不同词之间的相似度，⽐ 阅读全文

摘要：斋藤康毅 深度学习进阶 学习笔记 自然语言处理（Natural Language Processing，NLP） 顾名思义，就是处理自然语言的科学。 简单地说，它是一种能够让计算机理解人类语言的技术。 换言之，自然语言处理的目标就是让计算机理解人说的话，进而完成对我们有帮助的事情。 语料库 单词的分 阅读全文

摘要：编码器解码器层数必须要相等么？ 层数是越多越好么？ 各层之间的参数共享么？ 1706.03762.pdf (arxiv.org) Transformer模型详解（图解最完整版） - 知乎 (zhihu.com) 阅读全文

摘要：邱锡鹏： 通过一个掩码（Mask）来阻止每个位置选择其后面的输入信息．这种方式称为掩蔽自注意力（Masked Self-Attention）． 李沐： 解码器中的每个位置只能考虑该位置之前的所有位置。这种掩蔽（masked）注意⼒保留了⾃回归（auto-regressive）属性，确保预测仅依赖于已 阅读全文

摘要：NNDL 学习笔记 transformer：基于多头自注意力的序列到序列的模型 前馈神经网络 全连接 ResNet残差连接 层归一化 Softmax 编码器-解码器 注意力机制 自注意力模型 多头自注意力 掩蔽自注意力：通过一个掩码（Mask）来阻止每个位置选择其后面的输入信息。掩蔽自注意力 - H 阅读全文

摘要：邱锡鹏 NNDL 学习笔记 学习自注意力模型不难，研究透彻还是需要花点功夫。 这张图赏心悦目，看上去并不复杂，但其中的细节还需慢慢体会。 1. 为了提高模型能力，自注意力模型经常采用查询-键-值（Query-Key-Value，QKV）模式. 怎么就提高模型能力了呢？为什么用QKV就能提高？ NND 阅读全文

摘要：邱锡鹏 NNDL 学习笔记 阅读全文

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 8.3 基于自注意力模型的文本语义匹配 文本语义匹配 {Text Semantic Matching}是一 阅读全文

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 第八章 注意力机制 注意力机制（Attention Mechanism）是目前在深度学习中使用非常多的信息 阅读全文

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ # 第7章 网络优化与正则化 神经网络具有非常强的表达能力，但当应用神经网络模型到机器学习时依然存在一些难 阅读全文

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 6.4 实践：基于双向LSTM模型完成文本分类任务 电影评论可以蕴含丰富的情感：比如喜欢、讨厌、等等．情感 阅读全文

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 第6章 循环神经网络 循环神经网络（Recurrent Neural Network，RNN）是一类具有短 阅读全文

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 5.5 实践：基于ResNet18网络完成图像分类任务 在本实践中，我们实践一个更通用的图像分类任务。 图 阅读全文

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 第5章 卷积神经网络 卷积神经网络（Convolutional Neural Network，CNN）是受 阅读全文

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ ## 4.5 实践：基于前馈神经网络完成鸢尾花分类 在本实践中，我们继续使用第三章中的鸢尾花分类任务，将S 阅读全文