2026年9月7日
摘要: Lecture 6 - Model Training 训练目标与 Timestep 第 5 讲打开了 generation model 的 architecture black box:从 U-Net 到 DiT,再到 MM-DiT。第 6 讲进一步回答一个更实际的问题: 课程先明确范围:本讲聚焦 阅读全文
posted @ 2026-09-07 23:14 牛牛的智驾笔记 阅读(29) 评论(0) 推荐(0)
摘要: 4. Latent Space & Guidance 关于Classifier Guidance 和 Classifier-Free Guidance 很清晰的讲解 https://zhuanlan.zhihu.com/p/660518657 1. 问题设定与表示空间 前三讲都在研究 uncondi 阅读全文
posted @ 2026-09-07 15:53 牛牛的智驾笔记 阅读(9) 评论(0) 推荐(0)
  2026年9月1日
摘要: 1 问题设定与 Flow 基础 前两讲介绍了两条生成路线: DDPM:人为定义加噪过程,训练网络预测 noise,再学习反向去噪; Score Matching:学习 ,把它作为走向高密度区域的“指南针”。 Lecture 2 又把二者统一到 SDE: 反向生成需要 score,而 Probabil 阅读全文
posted @ 2026-09-01 16:43 牛牛的智驾笔记 阅读(46) 评论(0) 推荐(0)
  2026年8月28日
摘要: π₀.₅: a Vision-Language-Action Model with Open-World Generalization π₀.₅ 通过异构数据 co-training(跨机器人数据 + 高层语义预测 + web 数据 + 人类语言指令)和两阶段训练(discrete token 预训 阅读全文
posted @ 2026-08-28 20:20 牛牛的智驾笔记 阅读(42) 评论(0) 推荐(0)
  2026年8月23日
摘要: 1 Score Matching:问题与方法 上一讲学习 DDPM 时,我们采用了这样的思路:先人为定义一个逐步加噪的 forward process,再学习 reverse process。Maximum likelihood 本来难以直接计算,但经过 ELBO、KL divergence、Bay 阅读全文
posted @ 2026-08-23 17:56 牛牛的智驾笔记 阅读(26) 评论(0) 推荐(0)
摘要: 1. 问题设定与核心直觉 图像生成系统的全貌 学习扩散模型之前,先把图像生成系统拆成几个部分: Generation paradigm:模型如何从初始状态逐步得到图像; Conditioning:如何用文本等条件引导生成; Model architecture:U-Net、Diffusion Tra 阅读全文
posted @ 2026-08-23 14:29 牛牛的智驾笔记 阅读(39) 评论(0) 推荐(0)
摘要: 这一讲要解决什么问题? 生成模型的预测网络需要同时理解全局结构、保留局部细节、接收 timestep/text 等条件,并能扩展到高分辨率图像和视频。本讲沿着 Convolution → U-Net → DiT → MM-DiT → RoPE 的路线解释这些设计如何逐步形成。 1. Convolut 阅读全文
posted @ 2026-08-23 13:20 牛牛的智驾笔记 阅读(33) 评论(0) 推荐(0)