50 个GenAI 概念

这是一个免费的高级生成式 AI(GenAI)学习指南,标题为 “50 Advanced GenAI Concepts: Study Guide”(作者 Gustaf)。内容来源于他为顶尖 Y Combinator 初创公司面试 AI 岗位时的经验,强调候选人不仅要知道“是什么”,还要理解“怎么工作、成本是多少、有什么缺点”。每个概念都包含:核心解释、工作原理、权衡/代价,以及对应视频讲解的时间戳链接。整体风格偏实战与面试导向。

页面以视频为配套(YouTube 链接),并按概念编号组织,涵盖从数据与对齐、架构、推理优化、服务部署到检索与缓存等主题。

https://clankerengineer.io/learn/advanced-genai#1-synthetic-data-model-collapse

image

  • 定义:合成数据是由模型生成(而非从真实人或真实事件收集)的训练数据。做法是让一个强模型针对某任务大规模生成样本,过滤掉质量差的,再用剩余样本训练。
  • 为什么重要:互联网上的高质量真实数据几乎已被现有模型用尽。若需要某窄领域的百万级样本,现实中往往没有现成数据。
  • 工作原理:
    1. 教师模型生成候选样本。
    2. 验证器打分并过滤低质量样本。
    3. 只有通过过滤的样本进入训练集。
      过滤步骤是核心价值所在。
  • 主要权衡(Model Collapse):如果长时间只用模型自身未经过滤的输出进行训练,模型会逐渐向自身平均值漂移,稀有但重要的案例会被平滑掉。
  • 实用建议:只在答案可自动验证的场景使用合成数据(例如必须能运行并得到预期结果的代码、必须能平衡的数学方程)。永远不要只用合成数据训练,必须保留真实数据混合。
  • 适合新手

    image

    其他已覆盖的概念(部分)

    页面继续系统讲解了后续主题,例如:

    • RLHF(人类反馈强化学习)及其奖励黑客风险
    • Constitutional AI / RLAIF
    • Transformers 与 Self-Attention(Query/Key/Value)
    • 多模态 LLM / 视觉语言模型
    • Mixture of Experts(MoE)
    • Knowledge Distillation
    • LoRA / QLoRA
    • KV Cache
    • vLLM 与 Continuous Batching
    • PagedAttention
    • Speculative Decoding
    • 量化、路由、TTFT、前缀缓存、语义缓存
    • 向量搜索 vs 文件系统搜索、Hybrid Search、GraphRAG 等
    posted on 2026-11-18 13:41  PetterLiu  阅读(2)  评论(0)    收藏  举报