GRITJW - 博客园

InstructGPT 论文略读：三步走，让大模型真正听懂人话

摘要： InstructGPT 论文略读：三步走，让大模型真正听懂人话摘要 (Introduction) 大语言模型（LLM），如 GPT-3，无疑开启了自然语言处理的新纪元。它们强大的零样本和少样本学习能力，让我们看到了通用人工智能的一丝曙光。然而，任何与 GPT-3 有过深入“交流”的开发者或研究员都阅读全文

posted @ 2025-10-06 09:47 GRITJW 阅读(186) 评论(0) 推荐(0)

强化学习系统性学习笔记（一）：从理论基础到策略优化

摘要：强化学习系统性学习笔记（一）：从理论基础到策略优化一、强化学习的起源与核心问题 1.1 理论溯源：从生物学习到数学框架强化学习的思想源头可以追溯到生物行为心理学中的"试错学习"原理。在自然界中，生物个体通过反复尝试不同行为并观察环境反馈，逐步学会选择能够带来更好结果的行动策略。这一朴素而普适的学阅读全文

posted @ 2025-10-04 14:26 GRITJW 阅读(356) 评论(0) 推荐(0)

推荐系统中损失函数梳理：从Pointwise到Listwise

摘要：推荐系统中的损失函数梳理：从Pointwise到Listwise 引言：目标决定损失函数选择推荐系统通常采用两阶段架构：召回（Recall）与精排（Ranking）。两个阶段的优化目标存在本质差异，这直接决定了损失函数的选择。召回阶段从海量候选集（百万至亿级）中筛选出数百至数千个候选物品。这一阶阅读全文

posted @ 2025-10-03 13:43 GRITJW 阅读(232) 评论(0) 推荐(0)

大模型参数高效微调技术

摘要：大模型参数高效微调技术引言我们正处在一个由基础模型（Foundation Models）驱动的时代。GPT、Llama、Claude等大规模预训练语言模型（LLM）已成为理解和生成语言的通用引擎,展现出惊人的能力。然而,这些强大的通用模型如同未经雕琢的璞玉,要将其应用于特定场景并确保其行为符合人阅读全文

posted @ 2025-09-29 10:25 GRITJW 阅读(236) 评论(0) 推荐(0)

注意力机制下的位置编码的理解和梳理

摘要：位置编码的理解和梳理引言 Transformer的悖论自2017年横空出世以来，Transformer架构已然成为序列建模领域的一场革命，因其卓越的并行计算能力和捕捉全局依赖的强大性能而备受赞誉。它构成了当今最先进的大型语言模型（LLMs）的基石。然而，在这座宏伟的架构丰碑之下，隐藏着一个核心的阅读全文

posted @ 2025-09-25 10:52 GRITJW 阅读(272) 评论(0) 推荐(0)

Attention复杂度解析与改进方向

摘要： Attention复杂度解析与改进方向摘要/引言在大规模语言模型（LLM）浪潮中，扩展模型上下文窗口长度被认为是提升模型能力和应用范围的关键方向。然而，现代Transformer结构中的自注意力机制，其时间和空间复杂度均为二次方级（\(O(N^2)\)），成为限制序列长度扩展的根本瓶颈。有研究指阅读全文

posted @ 2025-09-24 17:57 GRITJW 阅读(163) 评论(0) 推荐(0)

从MMoE到PLE：读懂多任务学习架构的渐进式演化

摘要：

从MMoE到PLE：读懂多任务学习架构的渐进式演化引言在多任务学习（MTL）领域，MMoE（Multi-gate Mixture-of-Experts）无疑是一个里程碑式的模型，它通过巧妙的软参数共享机制，极大地提升了工业界推荐、广告等系统的多目标优化能力。然而，在面对任务间关系愈发复杂、甚至相阅读全文

posted @ 2025-09-19 10:24 GRITJW 阅读(296) 评论(0) 推荐(0)

GlenTt

导航

公告