HBU_DAVID - 博客园

【2024竞赛】寒假第一周

摘要：写一份《竞赛计划》文档，周日（2024.1.28）前完成。竞赛计划 1. 参赛题目、赛道 2. 队员分工、团队命名 3. 时间规划，写清楚每个阶段的最后期限 4. 技术储备，目前已掌握的技术和需要寒假学习的技术 5. 概要设计，简单勾画出项目整体框架结构图，辅以文字说明至少应包含以上内容，更多内阅读全文

posted @ 2024-01-24 10:10 HBU_DAVID 阅读(65) 评论(0) 推荐(0)

人工智能竞赛筹备

摘要：文件下载_共青团河北大学委员会 (hbu.cn) A类：挑战杯，互联网+ B类：中国高校计算机大赛 2023 高校人工智能创意赛（C4-AI） (baidu.com) 报名要求本届竞赛面向中国及境内外高等学校在读学生（含本科、硕博研究生等）。具体要求如下：1、参赛队员不限专业；2、可单人参赛或阅读全文

posted @ 2023-12-26 14:42 HBU_DAVID 阅读(214) 评论(0) 推荐(0)

Transformer：编码器

摘要：邱锡鹏 NNDL 学习笔记阅读全文

posted @ 2022-12-29 10:23 HBU_DAVID 阅读(155) 评论(0) 推荐(0)

Transformer：位置编码

摘要：邱锡鹏 NNDL 学习笔记阅读全文

posted @ 2022-12-29 09:41 HBU_DAVID 阅读(212) 评论(0) 推荐(0)

评价语言模型的预测性能的指标：困惑度

摘要：斋藤康毅深度学习进阶：NLP 学习笔记阅读全文

posted @ 2022-12-28 00:03 HBU_DAVID 阅读(88) 评论(0) 推荐(0)

无监督学习

摘要：邱锡鹏 NNDL 学习笔记阅读全文

posted @ 2022-12-21 17:10 HBU_DAVID 阅读(71) 评论(0) 推荐(0)

深度生成模型

摘要：邱锡鹏 NNDL 学习笔记首先应明白什么是生成模型。了解生成模型的两个模块：（概率）密度估计，生成样本（采样）。在密度估计或生成样本的时候，采用神经网络的方法，就是深度生成模型。密度估计使用NN，典型代表VAE；生成样本使用NN，典型代表GAN。【人工智能导论：模型与算法】生成式模型 | 阅读全文

posted @ 2022-12-20 23:18 HBU_DAVID 阅读(243) 评论(0) 推荐(0)

序列生成模型

摘要：邱锡鹏 NNDL 学习笔记阅读全文

posted @ 2022-12-19 23:55 HBU_DAVID 阅读(70) 评论(0) 推荐(0)

NLP：14.1 词嵌入（Word2vec）李沐

摘要：李沐动手学深度学习学习笔记词向量是⽤于表⽰单词意义的向量，并且还可以被认为是单词的特征向量或表⽰。将单词映射到实向量的技术称为词嵌⼊。近年来，词嵌⼊逐渐成为⾃然语⾔处理的基础知识。虽然独热向量很容易构建，但它们通常不是⼀个好的选择。⼀个主要原因是独热向量不能准确表达不同词之间的相似度，⽐阅读全文

posted @ 2022-12-14 22:54 HBU_DAVID 阅读(256) 评论(0) 推荐(0)

NLP ：词向量 word2vec（CBOW、skip-gram）斋藤康毅

摘要：斋藤康毅深度学习进阶学习笔记自然语言处理（Natural Language Processing，NLP）顾名思义，就是处理自然语言的科学。简单地说，它是一种能够让计算机理解人类语言的技术。换言之，自然语言处理的目标就是让计算机理解人说的话，进而完成对我们有帮助的事情。语料库单词的分阅读全文

posted @ 2022-12-14 21:33 HBU_DAVID 阅读(269) 评论(0) 推荐(0)

Transformer：编码器6层解码器6层

摘要：编码器解码器层数必须要相等么？层数是越多越好么？各层之间的参数共享么？ 1706.03762.pdf (arxiv.org) Transformer模型详解（图解最完整版） - 知乎 (zhihu.com) 阅读全文

posted @ 2022-12-14 00:32 HBU_DAVID 阅读(506) 评论(0) 推荐(0)

掩蔽自注意力

摘要：邱锡鹏：通过一个掩码（Mask）来阻止每个位置选择其后面的输入信息．这种方式称为掩蔽自注意力（Masked Self-Attention）．李沐：解码器中的每个位置只能考虑该位置之前的所有位置。这种掩蔽（masked）注意⼒保留了⾃回归（auto-regressive）属性，确保预测仅依赖于已阅读全文

posted @ 2022-12-13 23:34 HBU_DAVID 阅读(777) 评论(0) 推荐(1)

Transformer 必备知识点

摘要： NNDL 学习笔记 transformer：基于多头自注意力的序列到序列的模型前馈神经网络全连接 ResNet残差连接层归一化 Softmax 编码器-解码器注意力机制自注意力模型多头自注意力掩蔽自注意力：通过一个掩码（Mask）来阻止每个位置选择其后面的输入信息。掩蔽自注意力 - H 阅读全文

posted @ 2022-12-13 20:49 HBU_DAVID 阅读(229) 评论(0) 推荐(0)

Self-Attention：Learning QKV step by step

摘要：邱锡鹏 NNDL 学习笔记学习自注意力模型不难，研究透彻还是需要花点功夫。这张图赏心悦目，看上去并不复杂，但其中的细节还需慢慢体会。 1. 为了提高模型能力，自注意力模型经常采用查询-键-值（Query-Key-Value，QKV）模式. 怎么就提高模型能力了呢？为什么用QKV就能提高？ NND 阅读全文

posted @ 2022-12-13 12:39 HBU_DAVID 阅读(6100) 评论(0) 推荐(1)

Attention | Self-Attention

摘要：邱锡鹏 NNDL 学习笔记阅读全文

posted @ 2022-12-10 17:45 HBU_DAVID 阅读(201) 评论(0) 推荐(0)

NNDL 实验8（下）

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 8.3 基于自注意力模型的文本语义匹配文本语义匹配 {Text Semantic Matching}是一阅读全文

posted @ 2022-08-23 20:33 HBU_DAVID 阅读(685) 评论(0) 推荐(0)

NNDL 实验8（上）

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 第八章注意力机制注意力机制（Attention Mechanism）是目前在深度学习中使用非常多的信息阅读全文

posted @ 2022-08-23 20:31 HBU_DAVID 阅读(947) 评论(0) 推荐(0)

NNDL 实验7

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ # 第7章网络优化与正则化神经网络具有非常强的表达能力，但当应用神经网络模型到机器学习时依然存在一些难阅读全文

posted @ 2022-08-23 20:29 HBU_DAVID 阅读(411) 评论(0) 推荐(0)

NNDL 实验6（下）

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 6.4 实践：基于双向LSTM模型完成文本分类任务电影评论可以蕴含丰富的情感：比如喜欢、讨厌、等等．情感阅读全文

posted @ 2022-08-23 20:27 HBU_DAVID 阅读(1232) 评论(0) 推荐(0)

NNDL 实验6（上）

摘要：邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 第6章循环神经网络循环神经网络（Recurrent Neural Network，RNN）是一类具有短阅读全文

posted @ 2022-08-23 20:24 HBU_DAVID 阅读(875) 评论(0) 推荐(0)

导航