大模型未来潜力和调优

目录

• 背景和价值
  • 大模型的涌现能力：
    • 零样本 / 少样本学习等
  • 大模型调优
    • 提示词工程
    • 微调
  • 人类反馈的强化学习（ RLHF ）和数据飞轮
• 参考资料

背景和价值

大模型的涌现能力：

如逻辑推理、跨领域理解、零样本 / 少样本学习等，创造性内容生成能力

零样本 / 少样本学习等

模型无需大规模 “针对性训练数据”，仅通过少量示例（少样本，Few-shot）或无示例（零样本，Zero-shot） ，就能快速掌握新任务 —— 这颠覆了传统 AI “任务依赖大量标注数据” 的范式。

大模型调优

提示词工程和微调有各自的适用场景，目的是为了激发大模型的涌现能力

提示词工程

• 能用提示词工程，不要用微调（微调是有成本的，需要准备训练数据，需要GPU训练模型等）

微调

• 微调的训练数据怎么来：通过提示词工程引导模型生成微调的工作

人类反馈的强化学习（ RLHF ）和数据飞轮

参考资料