随笔分类 - 大语言模型
摘要：EasyEdit2——即插即用的LLM行为控制（Steering）框架： 1、支持广泛的测试时干预，包括安全性、情绪、个性、推理模式、事实性和语言特征。 2、关键模块：转向向量生成器和转向向量应用器。 论文发表于EMNLP 2025 System Demonstrations，Arxiv链接：htt
阅读全文
摘要：一篇还未发表的论文，但做了大量实验对熵最小化技巧提升模型推理能力进行了探索。本文训练了13440个大型语言模型，发现熵最小化（EM）只需要一个未标记的数据和10步优化，性能提升就比RL还强。基于两个直接而简单的假设： 生成大型语言模型的采样过程本质上是随机的。 正确答案的熵通常低于错误答案。 EM和
阅读全文
摘要：论文发表于NLP顶会EMNLP 2025（原文链接）。大模型CoT产生过短推理，即使简单数学问题也性能下降。本文研究推理长度如何嵌入推理模型的隐藏表示，以影响准确性： 1、发现，推理长度由表示空间中的线性方向决定，从而能沿着该方向引导模型，诱导过短推理。 2、引入权重编辑方法ThinkEdit，缓解
阅读全文
摘要：随着大语言模型（LLM）的广泛应用，它们在医疗、金融、教育等关键行业扮演着愈发重要的角色。然而，一个被忽视的现实是：大模型的知识并不会自动更新，更不总是准确。当模型输出过时信息、错误事实甚至自信满满的“胡说八道”时，如何快速、精准、低成本地纠正它？知识编辑（Model Editing）因此成为近年来
阅读全文
摘要：论文发表于人工智能顶会ICLR（原文链接）。基于定位和修改的模型编辑方法（针对ROME和MEMIT等）会破坏LLM中最初保存的知识，特别是在顺序编辑场景。为此，本文提出AlphaEdit： 1、在将保留知识应用于参数之前，将扰动投影到保留知识的零空间上。 2、从理论上证明，这种预测确保了在查询保留的
阅读全文
摘要：论文发表于人工智能顶会ICLR（原文链接）。在模型编辑方法中，过去工作主要局限于更新单个事实。因此，基于ROME，本文开发了MEMIT，在大模型GPT-J（6B）和GPT-NeoX（20B）上实现了数千的批量编辑。 阅读本文请同时参考原始论文图表。 方法 模型定义为文中式(1)，其中$[x_{[1]
阅读全文
摘要：论文发表于自然语言处理顶刊TACL-2024（原文链接）。目前模型编辑方法的评估主要集中在测试单个事实是否被成功注入，以及模型对其它事实的预测是否没有改变。作者认为这样的评估模式有限，因为注入一个事实会产生涟漪效应，模型应该同步更新一系列的额外事实。比如当注入：z是e的母亲时。模型应该同步更新：z的
阅读全文
摘要：论文发表于自然语言处理顶会ACL-2022（原文链接）。本文引入知识神经元 (Knowledge Neuron) 的概念，初步研究了预训练Transformer中是如何存储事实知识的： 1、通过研究预训练的BERT，本文发现预训练语言模型的知识是独立存在于中间神经元激活中的 2、可以通过编辑FFN层
阅读全文
摘要：论文发表于人工智能顶会ICLR（原文链接）。为了实现大规模编辑，提出基于梯度分解的模型编辑网络（Model Editor Networks with Gradient Decomposition, MEND）：训练一个小型辅助编辑网络的集合，对通过微调获得的梯度的低阶分解进行变换，使用变换后的梯度更
阅读全文
摘要：论文为大语言模型知识编辑综述，发表于自然语言处理顶会ACL（原文链接）。由于目前存在广泛的模型编辑技术，但一个统一全面的分析评估方法，所以本文： 1、对LLM的编辑方法进行了详尽、公平的实证分析，探讨了它们各自的优势和劣势。 2、构建了一个新的数据集，旨在揭示当前模型编辑方法的缺点，特别是泛化和效率
阅读全文
摘要：论文发表于人工智能顶会NeurIPS（原文链接）。当前的模型编辑器会因多次编辑损害模型性能，提出用于连续编辑的通用检索适配器(General Retrieval Adapters for Continual Editing, GRACE)：使用一个类似字典的结构（适配器）为需要修改的潜在表示构建新的
阅读全文
摘要：论文发表于人工智能顶会NeurIPS（原文链接），研究了GPT（Generative Pre-trained Transformer）中事实关联的存储和回忆，发现这些关联与局部化、可直接编辑的计算相对应。因此： 1、开发了一种因果干预方法，用于识别对模型的事实预测起决定性作用的神经元。 2、为了验证
阅读全文
浙公网安备 33010602011771号