AI关键摘要:A Survey of Context Engineering for Large Language Models
原文:https://arxiv.org/html/2507.13334v2
Context Engineering 的优化目标公式
\[\mathcal{F}^* = \arg\max_{\mathcal{F}} \mathbb{E}_{\tau \sim \mathcal{T}} \left[
\text{Reward} (
P_\theta (
Y
\mid
C_{\mathcal{F}}(\tau)
),
Y^*_\tau
)
\right]
\]
各部分含义逐项解析:
| 符号 | 含义 |
|---|---|
| $ \mathcal{F} $ | 一组上下文生成函数,如 Assemble, Retrieve, Select, Format 等 |
| $ \tau \sim \mathcal{T} $ | 从任务分布 $ \mathcal{T} $ 中采样的具体任务实例 |
| $ C_{\mathcal{F}(\tau)} $ | 使用函数集 $ \mathcal{F} $ 为任务 $ \tau $ 构造出的上下文 |
| $ P_\theta(Y \mid C) $ | LLM 在上下文 $ C $ 下生成输出 $ Y $ 的概率分布 |
| $ Y^*_{\tau}$ | 任务 \(\tau\) 的理想输出(ground truth) |
| $ \text{Reward}(P, Y^*) $ | 衡量模型输出与理想答案之间的质量指标(如准确率、BLEU、F1) |
| $ \mathbb{E}_{\tau}[\cdot] $ | 在任务分布上对所有任务的期望性能进行平均 |
| $ \arg\max_{\mathcal{F}} $ | 寻找最优的上下文生成函数集,使得整体性能最大化 |
直观解释:
我们希望找到一组上下文生成策略 $ \mathcal{F} $,使得在所有任务上,模型在这些上下文下的输出与理想答案之间的“奖励”最大化。
这就像你在设计一个提示系统,不是为了某一个任务写死一个 prompt,而是构建一套函数系统,能为任意任务自动生成最优上下文。
-end--

浙公网安备 33010602011771号