50 个GenAI 概念
这是一个免费的高级生成式 AI(GenAI)学习指南,标题为 “50 Advanced GenAI Concepts: Study Guide”(作者 Gustaf)。内容来源于他为顶尖 Y Combinator 初创公司面试 AI 岗位时的经验,强调候选人不仅要知道“是什么”,还要理解“怎么工作、成本是多少、有什么缺点”。每个概念都包含:核心解释、工作原理、权衡/代价,以及对应视频讲解的时间戳链接。整体风格偏实战与面试导向。
页面以视频为配套(YouTube 链接),并按概念编号组织,涵盖从数据与对齐、架构、推理优化、服务部署到检索与缓存等主题。
https://clankerengineer.io/learn/advanced-genai#1-synthetic-data-model-collapse
- 教师模型生成候选样本。
- 验证器打分并过滤低质量样本。
- 只有通过过滤的样本进入训练集。
过滤步骤是核心价值所在。
适合新手
其他已覆盖的概念(部分)
页面继续系统讲解了后续主题,例如:
- RLHF(人类反馈强化学习)及其奖励黑客风险
- Constitutional AI / RLAIF
- Transformers 与 Self-Attention(Query/Key/Value)
- 多模态 LLM / 视觉语言模型
- Mixture of Experts(MoE)
- Knowledge Distillation
- LoRA / QLoRA
- KV Cache
- vLLM 与 Continuous Batching
- PagedAttention
- Speculative Decoding
- 量化、路由、TTFT、前缀缓存、语义缓存
- 向量搜索 vs 文件系统搜索、Hybrid Search、GraphRAG 等


浙公网安备 33010602011771号