2024年1月24日

【2024竞赛】寒假第一周

摘要： 写一份《竞赛计划》文档，周日（2024.1.28）前完成。 竞赛计划 1. 参赛题目、赛道 2. 队员分工、团队命名 3. 时间规划，写清楚每个阶段的最后期限 4. 技术储备，目前已掌握的技术和需要寒假学习的技术 5. 概要设计，简单勾画出项目整体框架结构图，辅以文字说明 至少应包含以上内容，更多内 阅读全文

posted @ 2024-01-24 10:10 HBU_DAVID 阅读(29) 评论(0) 推荐(0) 编辑

2023年12月26日

人工智能竞赛筹备

摘要： 文件下载_共青团河北大学委员会 (hbu.cn) A类： 挑战杯，互联网+ B类： 中国高校计算机大赛 2023 高校人工智能创意赛（C4-AI） (baidu.com) 报名要求本届竞赛面向中国及境内外高等学校在读学生（含本科、硕博研究生等）。 具体要求如下：1、参赛队员不限专业；2、可单人参赛或 阅读全文

posted @ 2023-12-26 14:42 HBU_DAVID 阅读(90) 评论(0) 推荐(0) 编辑

2022年12月29日

Transformer：编码器

摘要： 邱锡鹏 NNDL 学习笔记 阅读全文

posted @ 2022-12-29 10:23 HBU_DAVID 阅读(77) 评论(0) 推荐(0) 编辑

Transformer：位置编码

摘要： 邱锡鹏 NNDL 学习笔记 阅读全文

posted @ 2022-12-29 09:41 HBU_DAVID 阅读(177) 评论(0) 推荐(0) 编辑

2022年12月28日

评价语言模型的预测性能的指标：困惑度

摘要： 斋藤康毅 深度学习进阶：NLP 学习笔记 阅读全文

posted @ 2022-12-28 00:03 HBU_DAVID 阅读(58) 评论(0) 推荐(0) 编辑

2022年12月21日

无监督学习

摘要： 邱锡鹏 NNDL 学习笔记 阅读全文

posted @ 2022-12-21 17:10 HBU_DAVID 阅读(41) 评论(0) 推荐(0) 编辑

2022年12月20日

深度生成模型

摘要： 邱锡鹏 NNDL 学习笔记 首先应明白什么是生成模型。 了解生成模型的两个模块：（概率）密度估计，生成样本（采样）。 在密度估计或生成样本的时候，采用神经网络的方法，就是深度生成模型。 密度估计使用NN，典型代表VAE； 生成样本使用NN，典型代表GAN。 【人工智能导论：模型与算法】生成式模型 | 阅读全文

posted @ 2022-12-20 23:18 HBU_DAVID 阅读(166) 评论(0) 推荐(0) 编辑

2022年12月19日

序列生成模型

摘要： 邱锡鹏 NNDL 学习笔记 阅读全文

posted @ 2022-12-19 23:55 HBU_DAVID 阅读(50) 评论(0) 推荐(0) 编辑

2022年12月14日

NLP：14.1 词嵌入（Word2vec）李沐

摘要： 李沐 动手学深度学习 学习笔记 词向量是⽤于表⽰单词意义的向量，并且还可以被认为是单词的特征向量或表⽰。 将单词映射到实向量的技术称为词嵌⼊。近年来，词嵌⼊逐渐成为⾃然语⾔处理的基础知识。 虽然独热向量很容易构建，但它们通常不是⼀个好的选择。 ⼀个主要原因是独热向量不能准确表达不同词之间的相似度，⽐ 阅读全文

posted @ 2022-12-14 22:54 HBU_DAVID 阅读(170) 评论(0) 推荐(0) 编辑

NLP ：词向量 word2vec（CBOW、skip-gram）斋藤康毅

摘要： 斋藤康毅 深度学习进阶 学习笔记 自然语言处理（Natural Language Processing，NLP） 顾名思义，就是处理自然语言的科学。 简单地说，它是一种能够让计算机理解人类语言的技术。 换言之，自然语言处理的目标就是让计算机理解人说的话，进而完成对我们有帮助的事情。 语料库 单词的分 阅读全文

posted @ 2022-12-14 21:33 HBU_DAVID 阅读(200) 评论(0) 推荐(0) 编辑

Transformer：编码器6层 解码器6层

摘要： 编码器解码器层数必须要相等么？ 层数是越多越好么？ 各层之间的参数共享么？ 1706.03762.pdf (arxiv.org) Transformer模型详解（图解最完整版） - 知乎 (zhihu.com) 阅读全文

posted @ 2022-12-14 00:32 HBU_DAVID 阅读(351) 评论(0) 推荐(0) 编辑

2022年12月13日

掩蔽自注意力

摘要： 邱锡鹏： 通过一个掩码（Mask）来阻止每个位置选择其后面的输入信息．这种方式称为掩蔽自注意力（Masked Self-Attention）． 李沐： 解码器中的每个位置只能考虑该位置之前的所有位置。这种掩蔽（masked）注意⼒保留了⾃回归（auto-regressive）属性，确保预测仅依赖于已 阅读全文

posted @ 2022-12-13 23:34 HBU_DAVID 阅读(516) 评论(0) 推荐(1) 编辑

Transformer 必备知识点

摘要： NNDL 学习笔记 transformer：基于多头自注意力的序列到序列的模型 前馈神经网络 全连接 ResNet残差连接 层归一化 Softmax 编码器-解码器 注意力机制 自注意力模型 多头自注意力 掩蔽自注意力：通过一个掩码（Mask）来阻止每个位置选择其后面的输入信息。掩蔽自注意力 - H 阅读全文

posted @ 2022-12-13 20:49 HBU_DAVID 阅读(143) 评论(0) 推荐(0) 编辑

Self-Attention：Learning QKV step by step

摘要： 邱锡鹏 NNDL 学习笔记 学习自注意力模型不难，研究透彻还是需要花点功夫。 这张图赏心悦目，看上去并不复杂，但其中的细节还需慢慢体会。 1. 为了提高模型能力，自注意力模型经常采用查询-键-值（Query-Key-Value，QKV）模式. 怎么就提高模型能力了呢？为什么用QKV就能提高？ NND 阅读全文

posted @ 2022-12-13 12:39 HBU_DAVID 阅读(3740) 评论(0) 推荐(0) 编辑

2022年12月10日

Attention | Self-Attention

摘要： 邱锡鹏 NNDL 学习笔记 阅读全文

posted @ 2022-12-10 17:45 HBU_DAVID 阅读(146) 评论(0) 推荐(0) 编辑

2022年8月23日

NNDL 实验8（下）

摘要： 邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 8.3 基于自注意力模型的文本语义匹配 文本语义匹配 {Text Semantic Matching}是一 阅读全文

posted @ 2022-08-23 20:33 HBU_DAVID 阅读(493) 评论(0) 推荐(0) 编辑

NNDL 实验8（上）

摘要： 邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 第八章 注意力机制 注意力机制（Attention Mechanism）是目前在深度学习中使用非常多的信息 阅读全文

posted @ 2022-08-23 20:31 HBU_DAVID 阅读(706) 评论(0) 推荐(0) 编辑

NNDL 实验7

摘要： 邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ # 第7章 网络优化与正则化 神经网络具有非常强的表达能力，但当应用神经网络模型到机器学习时依然存在一些难 阅读全文

posted @ 2022-08-23 20:29 HBU_DAVID 阅读(276) 评论(0) 推荐(0) 编辑

NNDL 实验6（下）

摘要： 邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 6.4 实践：基于双向LSTM模型完成文本分类任务 电影评论可以蕴含丰富的情感：比如喜欢、讨厌、等等．情感 阅读全文

posted @ 2022-08-23 20:27 HBU_DAVID 阅读(361) 评论(0) 推荐(0) 编辑

NNDL 实验6（上）

摘要： 邱锡鹏，神经网络与深度学习，机械工业出版社，https://nndl.github.io/, 2020. https://github.com/nndl/practice-in-paddle/ 第6章 循环神经网络 循环神经网络（Recurrent Neural Network，RNN）是一类具有短 阅读全文

posted @ 2022-08-23 20:24 HBU_DAVID 阅读(702) 评论(0) 推荐(0) 编辑

下一页

导航