随笔分类 -  深度学习 / 动手学深度学习 / 自然语言处理：预训练 / 全局向量的词嵌入（GloVe）

14.5.1 带全局语料库的跳元模型
摘要：最后一段最后一句话的含义及示例说明： 核心问题：交叉熵损失在处理大型语料库中的罕见共现事件时，会赋予它们过高的权重，导致模型过度关注这些不常见的情况，从而影响整体性能。 具体解释 在跳元模型中，损失函数为： \[-\sum_{i \in V} \sum_{j \in V} x_{ij} \log q 阅读全文
posted @ 2025-03-02 20:39 最爱丁珰 阅读(83) 评论(0) 推荐(0)