元始天尊123 - 博客园

2025年12月9日

摘要： LSTM 一、为什么要从 RNN 走向 LSTM 在学习并实践了 RNN 之后，会遇到一个非常现实的问题：当序列变长时，RNN 很难记住早期的信息。在实际训练中，这通常表现为：模型只能利用最近的几个时间步远距离的上下文信息逐渐被“遗忘” 长文本任务效果明显下降这一问题并不是代码实现错误，而阅读全文

posted @ 2025-12-09 19:24 元始天尊123 阅读(4) 评论(0) 推荐(0)

人月神话读后感01

摘要：《人月传说》读后感 Frederick P.Brooks,Brooks被认为是“IBM 360系统之父”，他担任了360系统的项目经理，以及360操作系统项目设计阶段的经理。凭借在上述项目的杰出贡献，他、Bob Evans和Erich Bloch在1985年荣获了美国国家技术奖（National M 阅读全文

posted @ 2025-12-09 19:24 元始天尊123 阅读(3) 评论(0) 推荐(0)

循环神经网络--RNN

摘要： RNN 一、为什么需要 RNN 在 NLP 任务中，文本并不是一组无序的词，而是具有顺序关系的序列。例如下面两句话：我喜欢学习 NLP NLP 学习喜欢我它们包含相同的词，但顺序不同，语义完全不同。这说明：词的顺序和上下文信息，对理解文本至关重要。传统的词向量或 N-gram 方阅读全文

posted @ 2025-12-09 19:23 元始天尊123 阅读(3) 评论(0) 推荐(0)

2025年11月11日

PyTorch 库介绍

摘要： PyTorch 库介绍一、为什么要学习 PyTorch 在学习 NLP 和深度学习相关内容时，很快会发现一个事实：几乎所有主流模型和实验代码，都是基于 PyTorch 实现的。无论是： RNN / LSTM / GRU Transformer BERT 及其变体 transformers 库中阅读全文

posted @ 2025-11-11 15:04 元始天尊123 阅读(5) 评论(0) 推荐(0)

pipeline 的使用

摘要： pipeline 的使用一、什么是 pipeline 在 transformers 库中，pipeline 是一个更高层次的封装接口。它的目标是：用最少的代码，快速完成一个 NLP 任务。 pipeline 封装了以下步骤：模型加载 tokenizer 加载文本预处理推理与后处理对于入阅读全文

posted @ 2025-11-11 15:03 元始天尊123 阅读(5) 评论(0) 推荐(0)

transformers 库介绍和使用

摘要： transformers 库介绍和使用一、为什么需要 transformers 库在学习完词向量、RNN、Attention、Transformer 结构之后，会遇到一个现实问题：如果每一个 NLP 任务都从零实现模型，成本会非常高。 transformers 库的出现，正是为了解决这一问题。阅读全文

posted @ 2025-11-11 15:03 元始天尊123 阅读(6) 评论(0) 推荐(0)

词向量--Embedding

摘要：词向量--Embedding 一、为什么还需要 Embedding 在学习了 One-Hot、Word2Vec 和 FastText 之后，会产生一个自然的疑问：既然已经有训练好的词向量，为什么在深度学习模型中还要使用 Embedding？在实际 NLP 任务中，词向量并不是独立存在的模块，而是阅读全文

posted @ 2025-11-11 15:03 元始天尊123 阅读(7) 评论(0) 推荐(0)

词向量--FastText

摘要： FastText 一、为什么要引入 FastText 在使用 Word2Vec 的过程中，我逐渐遇到一个实际问题：如果一个词在训练语料中从未出现过，模型将无法为它生成向量。这种情况在真实文本中非常常见，例如：新词拼写变化组合词专有名词 FastText 正是为了解决这一问题而提出的。二阅读全文

posted @ 2025-11-11 15:03 元始天尊123 阅读(5) 评论(0) 推荐(0)

2025年11月10日

One-Hot编码

摘要： One-Hot 一、One-Hot 编码是什么 One-Hot 编码是一种最基础的文本表示方式。它的核心思想非常简单：用一个只有 0 和 1 的向量来表示一个词，其中只有一个位置为 1，其余位置全为 0。每一个词在词表中都有一个唯一的位置，这个位置对应向量中为 1 的索引。二、One-Hot 阅读全文

posted @ 2025-11-10 14:08 元始天尊123 阅读(8) 评论(0) 推荐(0)

词向量

摘要：词向量一、为什么需要词向量在自然语言处理中，文本最终需要交给模型进行计算，但模型只能处理数值，无法直接理解文字。因此，一个最基础的问题是：如何把“词”转化为计算机可以处理的数值形式？词向量正是为了解决这个问题而提出的。它的目标是：用向量来表示词，并尽量让向量之间的几何关系反映词与词之间的阅读全文

posted @ 2025-11-10 14:08 元始天尊123 阅读(8) 评论(0) 推荐(0)

yuanshitianzun123

公告