上下文学习（In-context Learning, ICL）

2025.10.14

上下文学习（In-context Learning, ICL）的核心机制是在推理阶段不更新模型参数，利用提示中的少量示例引导模型生成适应新任务的输出。也就是'在不更新参数的情况下，利用提示中的示例让模型在内部条件化地模拟一个学习器'。

ICL不需要在训练或推理过程中更新参数；

ICL通过自然语言提示实现，无需引入特殊token；

研究表明ICL在更大参数规模的模型上效果更好（如GPT-3等模型），而非效果变差。