CORE: A Conceptual Reasoning Layer for Large Language Models

结合搜索到的相关摘要（尤其摘要 1），该论文聚焦大语言模型（LLMs）多轮对话中的 “token 优先” 范式缺陷，提出了名为 “CORE” 的概念导向推理层，通过 “概念优先” 的交互逻辑，解决 LLMs 在长对话中记忆漂移、推理低效、上下文冗余的核心痛点，且无需修改模型权重，实现多轮对话稳定性与效率的双重提升。

 

一、核心背景与问题：LLMs 多轮对话的 “token 优先” 困境

 

当前 LLMs 的交互模式本质是 “token-first（token 优先）”—— 模型每次调用仅接收 token 序列（对话历史文本）、生成 token 序列（回复），随后丢弃内部表征，不保留对任务 / 对话的持续性理解。这种模式在多轮对话中暴露三大关键问题：

 

1. 上下文重构负担重：多轮对话需反复从 token 历史中推断用户意图、提取约束条件、重建中间推理过程，尤其当上下文窗口截断历史时（如长对话超出输入长度限制），易出现 “部分信息可见” 导致的理解偏差；
2. 推理稳定性差：模型需在 “重构历史意义” 与 “生成新内容” 间频繁切换，导致推理模式不稳定（如前文用 A 逻辑解题，后文突然切换为 B 逻辑）、任务结构不一致，甚至出现 “回复偏离用户原始目标” 的漂移现象（如用户最初咨询 “低糖饮食”，后续回复逐渐转向 “普通饮食建议”）；
3. 效率与冗余矛盾：为保留历史信息，对话 prompt 需线性叠加过往轮次内容，导致输入冗余、推理耗时增加，尤其在端侧、资源受限场景下（如小模型部署），效率问题更突出。

 

论文以 “人类认知” 为对比：人类并非每次对话都从零重建意义，而是依赖 “跨语言表达仍稳定的概念结构”（如用户说 “少糖”“低糖”“控糖”，人类会统一理解为 “限制糖分摄入” 的概念），这为 CORE 的设计提供了核心灵感。

 

二、核心解决方案：CORE 概念推理层的设计逻辑

 

CORE 的定位是LLMs 多轮交互的 “中间概念层”，不修改模型权重（模型无关），通过 “分离概念推理与语言生成”，让模型每次调用仅关注 “核心概念状态” 而非 “完整 token 历史”，具体设计包含两大核心组件：

 

1. 持久化局部概念（Persistent Local Concept）

 

• 定义：一种紧凑的语义状态，而非原始 token 序列，专门存储对话中的 “任务目标、用户约束、偏好信息、中间推理结果”—— 例如用户多轮对话中提及 “预算 1500 元、用于图形设计、偏好轻薄本”，CORE 会将这些信息整合为 “[任务：选笔记本；约束：预算≤1500 元，用途 = 图形设计；偏好 = 轻薄]” 的结构化概念，而非保留完整对话文本。
• 核心价值：解决 “token 历史冗余” 问题 —— 模型每次调用无需读取所有过往对话，仅需加载该 “概念状态”，大幅减少输入长度（论文原型显示累计 prompt token 减少约 42%），同时避免 “token 截断导致的信息丢失”。

 

2. 通用认知算子库（Small Library of Universal Cognitive Operators）

 

• 定义：一组轻量级的 “概念处理规则”，用于动态更新、筛选、调用 “持久化局部概念”，例如：
  • 更新算子：当用户新增信息（如 “预算可放宽到 1600 元”），算子自动修正概念状态中的 “约束” 字段；
  • 筛选算子：当对话切换子任务（如从 “选笔记本型号” 转向 “对比两款机型”），算子提取概念中与 “对比” 相关的信息（如两款机型的参数、用户偏好权重），屏蔽无关内容；
  • 匹配算子：将当前用户指令（如 “推荐更适合设计的”）与概念状态中的 “用途 = 图形设计” 匹配，确保回复聚焦核心需求。
   
• 核心价值：让 “概念状态” 具备动态适应性，而非静态存储 —— 既保证多轮对话中概念的连贯性，又避免 “概念堆积导致的混淆”（如不会将 “选笔记本” 的预算与后续 “问保修政策” 的信息混为一谈）。

 

三、核心优势与实验验证

 

1. 三大核心优势

 

优势维度	具体表现	对比 “token 优先” 范式
效率提升	累计 prompt token 减少约 42%（原型数据），推理时无需加载冗余历史，降低计算资源消耗	传统范式 prompt 随轮次线性增长，推理耗时递增
稳定性增强	避免 “上下文截断导致的信息丢失”“推理模式漂移”，回复与用户原始目标的一致性提升	易因 token 截断漏记关键信息，或因重构偏差导致推理逻辑跳变
模型无关性	无需修改 LLMs 权重，可直接集成到现有对话系统（如客服、助手），适配不同规模模型（含 sLLM）	传统优化（如 SFT、RLHF）需修改模型参数，且对小模型兼容性差

 

2. 实验原型结果

 

论文通过初步原型验证 CORE 的有效性：

 

• 量化指标：在多轮对话任务中，CORE 使模型的 “累计 prompt token” 减少约 42%（需注意：该数据为原型环境结果，非真实场景最终性能）；
• 定性表现：回复的 “概念一致性” 显著提升 —— 例如用户多次提及 “图形设计” 需求，CORE 模型始终围绕 “设计性能” 推荐，而传统模型易在后期混入 “办公场景” 的推荐；
• 场景适配：在资源受限环境（如端侧 sLLM 部署）中，CORE 的 “轻量化概念处理” 让小模型也能支持 10 轮以上的连贯对话，而传统模型在 5-6 轮后即出现信息丢失。

 

四、核心价值与行业意义

 

1. 技术层面：提出 “概念优先” 的交互新范式，打破 LLMs 依赖 “token 序列” 的固有局限 —— 证明通过 “中间概念层”，可在不增大模型参数的前提下，提升多轮对话的稳定性与效率；
2. 应用层面：为端侧、资源受限场景（如手机 AI 助手、嵌入式客服）提供可行方案 ——sLLM 结合 CORE 后，既能保持轻量部署，又能避免 “多轮对话记忆差” 的痛点；
3. 未来方向：为 LLMs 的 “认知能力提升” 提供思路 —— 后续可扩展认知算子库，加入更复杂的概念推理规则（如因果关系、逻辑演绎），推动 LLMs 从 “token 生成” 向 “概念理解” 进化。

 

https://www.modelscope.cn/papers/2512.09222