AI Engineering from Scratch：435 节课从线性代数到自主 Agent，每个算法手写一遍

市面上的 AI 教程大多教你调 API。你学会了调 ChatGPT 的接口，却说不清 Attention 到底在算什么。你跟着教程跑通了 RAG，但让你解释 loss 曲线为什么震荡，你卡住了。

AI Engineering from Scratch 解决的正是这个断层。435 节课、20 个阶段、约 320 小时，从线性代数一路走到自主 Agent 系统。每个算法先用纯数学手写一遍，再用 PyTorch 重写一遍。免费、开源、MIT 协议。

上线两个月，GitHub 突破 11,000 star。

这篇文章涵盖什么

  • 这个项目是什么、设计哲学
  • 20 个阶段的课程结构
  • 每节课的统一教学模式
  • 每节课都会产出可复用的工具
  • 谁适合学、怎么开始

设计哲学：先造轮子，再用轮子

项目的核心理念写在 README 里：

You don't just learn AI. You build it. End-to-end. By hand.

具体来说，每个算法都遵循「Build It / Use It」双轨模式：

  1. Build It — 用纯 Python（有时是 Julia 或 Rust），不依赖任何框架，从数学推导写出完整实现
  2. Use It — 用 PyTorch、scikit-learn 等生产级框架重写同一个算法

当你用 PyTorch 的时候，你已经知道它在底层做了什么。

这不是看五分钟视频然后复制粘贴部署。每一课都要：读问题 → 推导数学 → 写代码 → 跑测试 → 保留产出物。

20 个阶段的课程地图

课程严格按依赖关系堆叠。数学是地基，Agent 和生产是屋顶。可以跳过你已经掌握的阶段，但不要跳了又抱怨上面的内容看不懂。

Phase 0 — Setup & Tooling          → 环境搭建
Phase 1 — Math Foundations         → 线性代数、微积分、概率论、优化
Phase 2 — ML Fundamentals          → 经典机器学习（回归、SVM、集成方法）
Phase 3 — Deep Learning Core       → 神经网络（感知机到反向传播到自建 mini 框架）
Phase 4 — Computer Vision          → CNN、YOLO、Stable Diffusion、ViT、NeRF
Phase 5 — NLP                      → 分词、Word2Vec、注意力、机器翻译
Phase 6 — Speech & Audio           → 语音识别、TTS、音频生成
Phase 7 — Transformers Deep Dive   → 自注意力、多头注意力、位置编码、MoE
Phase 8 — Generative AI            → GAN、VAE、扩散模型、Flow Matching
Phase 9 — Reinforcement Learning   → Q-Learning、PPO、RLHF
Phase 10 — LLMs from Scratch       → 分词器、预训练、SFT、DPO、量化、推理优化
Phase 11 — LLM Engineering         → Prompt Engineering、RAG、LoRA、MCP
Phase 12 — Multimodal AI           → CLIP、LLaVA、视频理解、多模态 RAG
Phase 13 — Tools & Protocols       → Function Calling、MCP 协议、A2A、可观测性
Phase 14 — Agent Engineering       → Agent Loop、记忆、规划、框架、生产部署（42 节课）
Phase 15 — Autonomous Systems      → 长周期 Agent、自我改进、安全栈
Phase 16 — Multi-Agent & Swarms    → 多 Agent 协作、群体智能
Phase 17 — Infrastructure          → 生产基础设施
Phase 18 — Ethics & Alignment      → AI 伦理与对齐
Phase 19 — Capstone Projects       → 毕业项目

几个值得注意的亮点：

  • Phase 7（Transformers）：从零手写 Self-Attention、Multi-Head Attention、RoPE 位置编码，最后完整搭一个 Transformer
  • Phase 10（LLMs from Scratch）：手写 BPE 分词器、预训练 124M 参数的 GPT、实现 RLHF 和 DPO、量化和推理优化，还覆盖了 DeepSeek-V3 架构和 DualPipe 并行
  • Phase 13（Tools & Protocols）：23 节课深入 MCP 协议，从基础到安全（OAuth 2.1）到生产部署，还有 A2A 协议
  • Phase 14（Agent Engineering）：整个课程最重的阶段，42 节课，从 ReAct Loop 到 Agent Workbench，覆盖 LangGraph、AutoGen、CrewAI、OpenAI Agents SDK、Claude Agent SDK 等所有主流框架

四种编程语言

语言 用途
Python 主力语言，覆盖所有阶段
TypeScript Phase 11/13/14 中的工程实践
Rust Phase 4（边缘部署）、Phase 6（实时音频）、Phase 10（量化）
Julia Phase 1（线性代数和数值计算）

不是每种语言都到处用，而是用在最合适的场景。

每节课的结构

每节课都有自己的文件夹，结构完全一致：

phases/<NN>-<phase-name>/<NN>-<lesson-name>/
├── code/      可运行的实现代码
├── docs/
│   └── en.md  课程讲解文档
└── outputs/   本节课的产出物

每节课六个环节：

  1. MOTTO — 一句话核心思想
  2. PROBLEM — 具体的痛点问题
  3. CONCEPT — 图解和直觉理解
  4. BUILD IT — 纯数学推导，不用框架
  5. USE IT — 用 PyTorch/sklearn 跑同样的东西
  6. SHIP IT — 产出一个可复用的工具

每节课都会产出可复用的工具

这是这个项目和其他教程最大的区别。别的课程以「恭喜你学会了 X」结尾，这门课以「你现在拥有了一个可以日常使用的工具」结尾。

四种产出物：

Prompts — 粘贴到任何 AI 助手中，获得针对特定任务的专业级帮助

Skills — 可以安装到 Claude、Cursor、Codex、Hermes 等支持 SkillKit 的 Agent 中

Agents — 自主工作者，你在 Phase 14 自己写了它的循环逻辑

MCP Servers — 插入任何 MCP 兼容客户端，Phase 13 从头到尾手写

举个例子，Phase 14 第 1 课「Agent Loop」：

def run(query, tools):
    history = [user(query)]
    for step in range(MAX_STEPS):
        msg = llm(history)
        if msg.tool_calls:
            for call in msg.tool_calls:
                result = tools[call.name](**call.args)
                history.append(tool_result(call.id, result))
            continue
        return msg.content
    raise StepLimitExceeded

约 120 行纯 Python，零依赖。产出一个 skill-agent-loop.md（可安装的 Skill）和一个 prompt-debug-agent.md（调试 Agent 的 Prompt）。

学完全部 435 节课，你手里有 435 个你亲手构建、完全理解的工具。

怎么开始

三种方式：

方式 A — 在线阅读。 打开 aiengineeringfromscratch.com，任何已完成的课程可以直接看，不需要克隆仓库。

方式 B — 克隆运行。

git clone https://github.com/rohitg00/ai-engineering-from-scratch.git
cd ai-engineering-from-scratch
python phases/01-math-foundations/01-linear-algebra-intuition/code/vectors.py

方式 C — 定制你的路径（推荐）。 如果你不是零基础，项目内置了 SkillKit 技能，在任何支持的 Agent 中运行：

/find-your-level

十个问题，评估你的知识水平，映射到合适的起始阶段，生成个性化学习路径和预估时间。每完成一个阶段后：

/check-understanding 3        # 测验你对 Phase 3 的掌握程度

谁适合学

  • 想真正理解 AI 的开发者 — 不满足于调 API，想知道底层的数学和工程细节
  • 转 AI 方向的工程师 — 有编程基础（任何语言），需要系统性的知识体系
  • AI 应用开发者 — 已经在用 LLM 但对 Transformer、RLHF、量化这些概念一知半解
  • 面试准备者 — AI 岗位面试越来越看重底层理解，这门课覆盖了大部分考点

唯一的前置要求：你能写代码，你想理解 AI 到底是怎么运作的。

和其他学习资源的对比

维度 AI Engineering from Scratch Fast.ai Andrew Ng 课程 调 API 教程
覆盖范围 线性代数 → Agent 系统 深度学习 → NLP ML 基础 / DL 基础 LLM 调用
手写实现 每个算法都从零写 部分从零 概念为主 无
语言数 4 种 Python Python Python
产出物 435 个可复用工具 项目作品 证书 Demo
成本 免费 免费 部分收费 免费/付费
时长 ~320 小时 ~30 小时 ~50 小时 ~5 小时

这不是一门速成课。320 小时的完整路径，相当于一个学期的课程量。但你换来的不是「我用过 PyTorch」，而是「我知道 PyTorch 在做什么」。

值得关注的阶段细节

Phase 10（LLMs from Scratch） 是这门课的精华之一，22 节课覆盖了构建 LLM 的完整链路：

  • 手写 BPE/WordPiece/SentencePiece 分词器
  • 预训练 124M 参数的 Mini GPT
  • 分布式训练（FSDP、DeepSpeed）
  • SFT 指令微调 → RLHF → DPO 对齐
  • 量化（INT8、GPTQ、AWQ、GGUF）
  • 推理优化（KV Cache、Flash Attention、Speculative Decoding）
  • DeepSeek-V3 架构解析、MoE、DualPipe 并行

Phase 14（Agent Engineering） 则是目前市面上最全面的 Agent 课程，42 节课覆盖：

  • ReAct / ReWOO / Plan-and-Execute / Tree of Thoughts 等核心模式
  • 记忆系统（MemGPT、Mem0、Sleep-Time Compute）
  • LangGraph / AutoGen / CrewAI / OpenAI Agents SDK / Claude Agent SDK
  • Computer Use Agent / Voice Agent
  • Agent 安全（Prompt Injection 防御）
  • Agent Workbench（从 31 课开始的 12 节连续实战）

作者: itech001
来源: 公众号：AI人工智能时代
网站: https://www.theaiera.cn/
每日分享最前沿的AI新闻资讯和技术研究。

本文首发于 AI人工智能时代，转载请注明出处。

posted @ 2026-05-22 21:12  iTech  阅读(4)  评论(0)    收藏  举报