AI关键摘要:A Survey of Context Engineering for Large Language Models

原文:https://arxiv.org/html/2507.13334v2

Context Engineering 的优化目标公式

\[\mathcal{F}^* = \arg\max_{\mathcal{F}} \mathbb{E}_{\tau \sim \mathcal{T}} \left[ \text{Reward} ( P_\theta ( Y \mid C_{\mathcal{F}}(\tau) ), Y^*_\tau ) \right] \]

各部分含义逐项解析:

符号 含义
$ \mathcal{F} $ 一组上下文生成函数,如 Assemble, Retrieve, Select, Format
$ \tau \sim \mathcal{T} $ 从任务分布 $ \mathcal{T} $ 中采样的具体任务实例
$ C_{\mathcal{F}(\tau)} $ 使用函数集 $ \mathcal{F} $ 为任务 $ \tau $ 构造出的上下文
$ P_\theta(Y \mid C) $ LLM 在上下文 $ C $ 下生成输出 $ Y $ 的概率分布
$ Y^*_{\tau}$ 任务 \(\tau\) 的理想输出(ground truth)
$ \text{Reward}(P, Y^*) $ 衡量模型输出与理想答案之间的质量指标(如准确率、BLEU、F1)
$ \mathbb{E}_{\tau}[\cdot] $ 在任务分布上对所有任务的期望性能进行平均
$ \arg\max_{\mathcal{F}} $ 寻找最优的上下文生成函数集,使得整体性能最大化

直观解释:

我们希望找到一组上下文生成策略 $ \mathcal{F} $,使得在所有任务上,模型在这些上下文下的输出与理想答案之间的“奖励”最大化。

这就像你在设计一个提示系统,不是为了某一个任务写死一个 prompt,而是构建一套函数系统,能为任意任务自动生成最优上下文。

-end--

posted @ 2025-07-22 23:00  ffl  阅读(172)  评论(0)    收藏  举报