基于 PyTorch 2.x 的大模型开发与微调专题【左扬精讲】——课程导论：从 AI 发展脉络到大模型工程实践
基于 PyTorch 2.x 的大模型开发与微调专题【左扬精讲】——课程导论：从 AI 发展脉络到大模型工程实践
在人工智能技术日新月异的今天，如何从宏观视角理解 AI 的演进逻辑，并将其落地为可工程化的大模型应用，是每一位 AI 开发者和研究者面临的核心挑战。
本专题由左扬倾力打造，旨在为学习者构建一条从 AI 发展全局认知 到 PyTorch 2.x 工程实践 再到 国产大模型微调实战 的完整学习路径。
PyTorch 2.x 大模型微调 ChatGLM DeepSeek 深度学习 Transformer LoRA PEFT
学习重点提示
- 必须掌握：AI 1.0 与 AI 2.0 的本质区别、预训练-微调范式的核心价值
- 必须掌握：PyTorch 2.x 的四大核心组件及其解决的大模型工程痛点
- 必须掌握：ChatGLM 与 DeepSeek 的技术特点与选型策略
- 建议掌握：PEFT 参数高效微调方法（LoRA/Adapter/Prefix Tuning）
- 建议掌握：分布式训练与量化微调的基本原理
目 录
Why — 为什么需要这门专题课程？
当前市场上大模型相关的教程，要么停留在 API 调用层面（"调包侠"模式），要么直接跳入论文源码而缺乏系统性认知。学习者普遍面临三大痛点：只懂调包、不懂底层、不会定制微调。本专题的价值在于，先建立 AI 发展的全局认知框架，再深入 PyTorch 2.x 的工程实践，最后落地到国产主流大模型的微调实战，让学习者真正掌握从理论到工程落地的全链路能力。
第一章 人工智能基础定义与整体发展脉络
1.1 人工智能（AI）标准定义
人工智能是一门交叉学科，目标是让机器模拟、延伸甚至超越人类在 感知、推理、学习、生成、决策 等方面的智能行为。这一领域融合了计算机科学、数学、语言学、神经科学等多学科知识，其发展历程折射出人类对"智能"本质认知的不断深化。
从行业实践角度，AI 能力可以分为三个递进的层次：
- 感知智能：让机器"看得见、听得清"，包括图像识别、语音识别等能力，这是 AI 1.0 时代的核心成就
- 认知智能：让机器"理解、会思考、能对话"，包括文本理解、逻辑推理、对话生成等能力，这是 AI 2.0 大模型时代的核心突破
- 通用人工智能 AGI：让机器具备跨任务、跨模态的自主学习能力，这是当前行业的长期愿景和终极目标
关键区分：传统 AI vs 现代深度学习 AI
传统 AI（符号主义）依赖人工编写规则，泛化性极差，只能处理封闭简单场景；现代深度学习 AI 依靠数据自动学习特征，具有更强的泛化能力。这一分野深刻影响了后续 AI 技术路线的发展方向。
深度学习时代可分为两大时代：
- AI 1.0 感知时代（2012-2017）：以 CNN 卷积神经网络为核心，聚焦视觉感知任务
- AI 2.0 大模型预训练微调时代（2017至今）：以 Transformer 架构为核心，通过预训练-微调范式实现通用认知能力
1.2 人工智能前置发展阶段（1956-2012）
现代深度学习的爆发并非一蹴而就，而是经历了长达半个多世纪的技术积累：
- 1956 年达特茅斯会议：麦卡锡、明斯基等学者正式提出"人工智能"概念，标志 AI 作为独立学科的诞生
- 早期符号主义与专家系统阶段：依靠人工编写的逻辑规则构建智能系统，但只能解决封闭简单场景，无法应对现实世界的复杂性
- 浅层神经网络与 LeNet-5（1998）：卷积神经网络（CNN）的雏形出现，但受限于 CPU 算力不足和标注数据匮乏，无法规模化落地
- 2006 年 Hinton 提出深度学习：通过逐层预训练和正则化技术，解决了深度网络训练中的梯度消失问题，为 AI 1.0 的爆发奠定了理论基础
章节小结：AI 发展的三次跨越
- 第一次跨越：从规则系统到统计学习（传统 AI → 浅层机器学习）
- 第二次跨越：从统计学习到深度感知（机器学习 → AI 1.0 深度学习）
- 第三次跨越：从专用感知到通用认知（AI 1.0 → AI 2.0 大模型时代）
第二章 AI 1.0 时代（2012-2017）：CNN 卷积神经网络主导的感知智能时代
2.1 时代分水岭：2012 AlexNet 引爆深度学习
2012 年 ImageNet 图像分类竞赛，AlexNet 以压倒性优势夺冠，将图像分类错误率从 26.2% 骤降至 15.3%，这一事件被业界公认为深度学习时代正式开启的标志。AlexNet 的三大创新为后续计算机视觉发展指明了方向：
- ReLU 激活函数：解决了深层网络梯度消失问题，使得训练更深的网络成为可能
- Dropout 正则化：通过随机丢弃神经元有效抑制模型过拟合，提升泛化能力
- GPU 并行加速：利用显卡高并发算力，将训练效率提升数十倍，开启了深度学习算力革命
What — CNN 为何在 AI 1.0 时代占据绝对核心地位？
卷积神经网络（CNN）通过局部感受野和权值共享两大机制，大幅减少了网络参数量，避免了全连接网络面临的维度灾难。同时，CNN 能够自动学习图像的底层特征（边缘、纹理）到高层特征（物体部件、整体形态），彻底替代了传统手工特征工程（SIFT、HOG 等），将特征工程从人工设计转变为数据驱动。
2.2 AI 1.0 代表模型与技术特征
AI 1.0 时代，计算机视觉领域涌现了大量里程碑式模型：
- VGGNet（2014）：通过堆叠更深的卷积层证明了"深度"对于视觉表示的重要性
- ResNet（2015）：引入残差连接（Residual Connection），解决了深层网络退化问题
- Inception 系列（2014-2016）：通过多尺度卷积核并行，捕捉不同粒度的特征
- YOLO（2016）：实现端到端的目标检测，兼顾精度与速度
同期在 NLP 领域也出现了基于 CNN 的文本分类尝试，但受限于卷积核的感受野限制，无法有效处理长距离语义依赖问题，这为后续 Transformer 的崛起埋下了伏笔。
2.3 AI 1.0 时代的核心瓶颈
Why — 为什么 AI 1.0 无法通往通用人工智能？
AI 1.0 本质上是一种判别式感知智能，它在"看懂、听清"方面表现出色，但在"理解、创作、推理"方面存在根本性局限。四大核心瓶颈制约了其进一步发展：
- 单任务孤岛：图像、文本、语音模型完全独立架构，无法通用，一个模型只能干一件事
- 强依赖标注数据：每一个任务都需要大量人工标注数据，成本极高且难以扩展
- 迁移能力弱：模型只能识别训练过的类别，面对新类别必须重新训练
- 无生成能力：只能完成分类、检测、识别等判别任务，无法进行生成式创作
AI 1.0 时代的核心问题是"如何更好地从数据中提取特征"，而 AI 2.0 时代的核心问题转变为"如何从海量数据中学习通用表征"。这一转变的关键在于：
- 从判别模型到生成模型：从"分类判断"到"理解并创造"
- 从单任务到多任务：从"一个模型做一件事"到"一个模型做万事"
- 从标注数据到无标注数据：从"人工标注"到"自监督学习"
这一范式转移的本质，是机器学习从任务特定向知识通用的跨越。
第三章 AI 2.0 时代（2017至今）：Transformer + 预训练-微调范式
3.1 转折点：2017《Attention Is All You Need》
2017 年，Google 在论文《Attention Is All You Need》中提出了 Transformer 架构，彻底抛弃了 CNN 和 RNN 的循环结构，以自注意力机制（Self-Attention）作为底层核心。这一设计带来了三大突破：
- 长距离依赖建模：自注意力机制允许任意位置的 token 直接交互，彻底解决了长文本远距离语义捕捉问题
- 完全并行训练：不同于 RNN 的时序依赖，Transformer 可以充分利用 GPU 并行计算能力，算力利用率大幅提升
- 统一架构多模态：文本、图像、语音可以采用相同的 Transformer 架构处理，为多模态统一奠定了基础
技术演进视角
Transformer 之前的 NLP 模型（如 LSTM、GRU）采用顺序处理方式，信息必须"排队"依次传递，导致长序列训练效率极低。Transformer 通过并行注意力计算实现了信息的"同时对话"，效率提升可达数十倍。
3.2 AI 2.0 核心范式：预训练 + 微调
预训练-微调范式是区分 AI 1.0 和 AI 2.0 最核心的标志，它彻底解决了 AI 1.0 标注成本高、泛化能力差的痛点。这一范式分为两个阶段：
阶段 1：通用预训练（Pre-training）
使用海量无标注的互联网文本或多模态数据，通过自监督任务（如掩码预测、下一词预测）训练巨型 Transformer 模型。这一阶段的核心价值在于：
- 无需人工标注：数据成本极低，互联网上的海量文本唾手可得
- 学习通用能力：模型在预训练过程中习得语言理解、世界常识、逻辑推理等通用认知能力
- 产出基础底座：产出的预训练模型是具备通用认知能力的"通才"，可通过微调快速适配下游任务
阶段 2：下游微调（Fine-tuning）
针对特定垂直场景（如客服、金融、医疗、代码生成），使用少量领域标注数据，在预训练底座上进行增量优化，使模型快速适配专属业务需求。
Why — 为什么微调比从头训练更高效？
预训练模型已经学会了语言的基本规律和世界知识（相当于完成基础教育），微调阶段只需针对特定任务进行"专项训练"（相当于职业技能培训）。这比从头训练（从小学到博士再到职业技能培训）效率高得多，且所需数据和算力大幅降低。
基于微调需求，业界发展出多种技术路线：
- 全参数微调（Full Fine-tuning）：更新模型全部权重，效果最好但算力显存消耗巨大，通常需要多卡并行
- PEFT 参数高效微调：只训练少量新增参数，显存需求降低 70% 以上，是工业界主流方案
- LoRA：通过低秩矩阵分解减少可训练参数
- Adapter：在 Transformer 层间插入小型适配器
- Prefix Tuning：仅优化输入前缀向量
- 对齐技术：指令微调（SFT）+ RLHF 人类反馈对齐，让模型输出更符合人类对话习惯
3.3 AI 2.0 时代的核心优势
AI 2.0 相比 AI 1.0 的四大跨越
- 一套底座通用：文本、图像、语音多模态统一表征，一个架构解决所有问题
- 数据成本骤降：预训练使用无标注数据，微调仅需少量领域数据，总体成本大幅降低
- 具备生成能力：支持对话、文案、代码、报告等生成式任务，从"判别"走向"创造"
- 迁移能力极强：底座预训练完成后，可快速适配数百种下游任务
3.4 深度学习发展完整总结
| 发展阶段 | 核心架构 | 学习范式 | 模型类型 | 数据依赖 |
|---|---|---|---|---|
| 浅层机器学习 | SVM/决策树/逻辑回归 | 人工特征 + 简单分类器 | 判别式 | 强依赖标注 |
| AI 1.0 深度学习 | CNN | 自动视觉特征 | 判别式 | 强依赖标注 |
| AI 2.0 大模型 | Transformer | 预训练 + 微调 | 生成式 | 预训练无标注，微调少标注 |
第四章 PyTorch 2.x 深度解析：大模型开发与微调首选框架
4.1 什么是 PyTorch 2.x
PyTorch 是 Meta（原 Facebook）开源的 Python 深度学习框架，2023 年正式发布 2.0 大版本。作为面向大模型训练、微调、推理的一站式底层工具，PyTorch 2.x 完全兼容 PyTorch 1.x 全部 API，实现 100% 向后兼容，无需大规模改写旧代码。
PyTorch 1.x 以动态图（Eager Mode）为核心优势，其即时执行、调试友好的特性使其成为学术界与工业界的首选框架。PyTorch 2.x 在保留动态图易用性的基础上，新增了原生编译器栈，解决了大模型训练速度、显存占用、分布式训练、硬件适配四大工程痛点。
4.2 为什么大模型开发必须选择 PyTorch 2.x
What — PyTorch 2.x 在大模型时代的核心价值是什么？
大模型开发有三个核心诉求：快、省、好用。PyTorch 2.x 通过 torch.compile 编译加速实现"快"，通过低显存优化实现"省"，通过动静合一的开发体验实现"好用"。这是其他框架难以同时兼顾的优势组合。
（1）生态完整，大模型工具链全覆盖
Hugging Face Transformers、PEFT、Accelerate、BitsAndBytes 量化库均对 PyTorch 2.x 提供原生深度适配。主流开源大模型（ChatGLM、DeepSeek、LLaMA、Qwen）全部提供 PyTorch 微调代码，PyTorch 已成为行业事实标准的开发框架。
（2）动静合一，开发与性能兼顾
TensorFlow 的静态图调试困难，而旧版 PyTorch 动态图运行速度弱于静态框架。PyTorch 2.x 实现了动静合一：写代码、打印张量、断点调试沿用原生动态图，一行代码即可开启编译加速。
# 仅需一行代码，即可开启编译加速
model = torch.compile(model)
（3）原生支持大模型微调刚需功能
- 4/8bit 量化，降低显存占用
- 梯度检查点，节省显存
- LoRA 轻量化微调
- 多 GPU/多节点分布式训练
- 混合精度 bf16/fp16
这些功能对 7B/13B/67B 等超大参数模型的微调至关重要。
（4）跨硬件统一加速
PyTorch 2.x 支持 NVIDIA CUDA、AMD GPU、Apple Mac M 系列 MPS 后端、CPU 分布式训练，一套代码可无缝切换不同算力设备，降低了硬件依赖成本。
4.3 PyTorch 2.x 核心技术组件
核心组件 1：torch.compile 一键编译
解决问题：大模型微调训练速度慢、算子冗余、GPU 算力利用率低。
实现逻辑：底层 TorchDynamo 捕获 Python 动态计算图，TorchInductor 调用 OpenAI Triton 生成硬件原生高性能算子，自动融合重复计算、消除冗余内存读写。
How — torch.compile 的编译加速原理
- TorchDynamo：在 Python 层面捕获计算图，无需修改原有代码
- TorchInductor：将计算图转换为底层优化代码
- Triton：生成针对 GPU 优化的高效算子内核
实测主流 LLM 微调场景训练速度提升 1.8~2.1 倍，无任何算法精度损失，完全不改动微调业务代码。
核心组件 2：TorchInductor + Triton 编译器
TorchInductor 替代手写 CUDA 内核，自动生成适配不同 GPU 的高效代码，优化 Transformer 核心算子缩放点积注意力（SDPA），是大模型注意力层速度大幅提升的关键。
核心组件 3：原生分布式与低显存优化
- DTensor：张量并行、模型并行、流水线并行原生封装，超大模型多卡分片微调简化开发
- 梯度检查点增强：激活重计算，降低微调峰值显存占用，单卡 3090/4090 即可完成 7B 模型 LoRA 微调
- Accelerate 库深度集成：自动适配单卡、多卡、多节点，屏蔽分布式复杂底层逻辑
核心组件 4：增强 Transformer 加速模块
Accelerated Transformers 内置优化注意力内核，对 ChatGLM、DeepSeek 等开源大模型做专项算子优化，推理与微调双提速，原生支持 KV Cache 缓存优化。
4.4 PyTorch 2.x 对比旧版本核心价值
| 痛点 | PyTorch 1.x 局限 | PyTorch 2.x 解决方案 |
|---|---|---|
| 训练速度 | 动态图解释执行，算力浪费 | torch.compile 编译加速，训练速度翻倍 |
| 大模型分布式 | 多卡分片代码复杂 | DTensor 统一分布式张量 API |
| 硬件适配 | Mac GPU 支持差，算子不全 | MPS 完善，AMD GPU 原生优化 |
| Transformer 性能 | 注意力算子未深度优化 | Triton 优化 SDPA 注意力内核 |
| 兼容性 | 升级易破坏旧代码 | 100% 向后兼容，增量升级零成本 |
第五章 主流国产开源大模型技术解析
本专题全部微调实战案例基于两大国产成熟开源底座：ChatGLM 和 DeepSeek。二者覆盖通用对话与专业推理两大方向，可适配不同业务微调需求。
5.1 ChatGLM 系列（清华大学智谱 AI）
（1）模型背景与定位
清华 GLM 团队研发的 ChatGLM 是中文场景优化最优的通用对话大模型，从 GLM-6B 迭代至 GLM-4 系列，全系列开源权重。ChatGLM 对中文语义理解、常识推理、多轮对话的适配极佳，是企业客服、知识库问答、通用文案生成场景微调的首选底座。
（2）核心技术特点
- 基础架构：采用改进 Transformer 的 GLM 双向预训练范式，相比单向 GPT 类模型，中文理解能力更强
- 超长上下文：GLM-4 支持超长上下文，适配长文档处理、知识库 RAG+微调联合方案
- 对齐优化：多阶段 SFT 监督微调 + RLHF 人类反馈，对话流畅、幻觉相对可控
- 轻量化版本齐全：6B/9B/32B/130B 多参数规格，低端显卡可运行 6B/9B 轻量化微调
- PyTorch 生态完善：官方提供完整 LoRA、全量微调、量化微调代码，完美适配 PyTorch 2.x 编译加速
（3）适用微调场景
- 企业智能客服
- 教育问答系统
- 公文写作辅助
- 本地私有化知识库
- 通用 AI 助手
5.2 DeepSeek 系列（深度求索 DeepSeek-AI）
（1）模型背景与定位
DeepSeek 是国内头部技术团队自研大模型，主打数学推理、代码生成、专业垂直领域。包含密集参数 LLM 与 MoE 混合专家两大系列，同等参数下数学、代码基准测试超越同规格 Llama2、ChatGLM。
（2）核心技术特点
- MoE 混合专家架构：DeepSeek-MoE 671B 总参数，推理时仅激活 37B 动态参数，大幅降低推理算力成本
- 自研分词器与 RoPE 位置编码：古汉语、金融、医疗专业术语理解能力突出
- DeepSeek-R1 强化推理模型：擅长分步逻辑推导，数学竞赛、代码调试、数据分析微调效果突出
- 训练效率优化：分层知识蒸馏框架，微调收敛速度更快，领域数据适配成本更低
- 量化与分布式友好：在 PyTorch 2.x 下支持 4bit 量化微调，多卡 MoE 分片训练原生支持
（3）适用微调场景
- 金融量化分析
- 代码助手与代码审查
- 数学科研与定理证明
- 法律文书分析
- 工业专业数据分析
- 高难度逻辑推理业务
5.3 ChatGLM vs DeepSeek 选型对比
| 维度 | ChatGLM | DeepSeek |
|---|---|---|
| 核心优势 | 中文对话流畅、通用场景适配 | 数学推理、代码生成、专业领域 |
| 推荐场景 | 客服、文案、教育、通用助手 | 金融、代码、数学、法律推理 |
| 硬件需求 | 6B/9B 版本单卡可跑 | MoE 版推理成本低，训练需多卡 |
| 生态成熟度 | 更成熟，中文场景优化更深 | 快速迭代，技术创新更强 |
选型建议
- 通用中文对话、客服、文案生成 → 优先 ChatGLM
- 代码、数学、专业行业推理 → 优先 DeepSeek
- 硬件资源有限（单消费级显卡）→ 两款轻量化 7B/9B 版本均可基于 PyTorch 2.x 做 LoRA 微调
第六章 课程整体逻辑串联
本专题的核心理念是：先建立认知框架，再掌握工具底座，最后落地实战应用。四个递进阶段构成完整学习闭环：
- 第一阶段：认知建立 → 分清 CNN 感知时代与预训练微调大模型时代的本质差异，理解微调范式诞生的必然性与价值
- 第二阶段：工具筑基 → 透彻理解 PyTorch 2.x 解决的大模型工程痛点，掌握提速、低显存、分布式四大核心能力
- 第三阶段：底座选型 → 拆解 ChatGLM、DeepSeek 架构特点与适用场景，明确业务模型选型策略
- 第四阶段：实战闭环 → 完成数据集构建、量化、LoRA 微调、训练加速、模型部署全流程实操
学完本专题，你不仅会运行微调代码，更能自主定制、优化、排查大模型开发过程中的算力、收敛、过拟合、幻觉等核心工程问题。
FAQ 常见问题（20 组）
关于 AI 发展脉络与范式转移
Q1. AI 1.0 和 AI 2.0 最核心的区别是什么？
一句话结论：AI 1.0 是"一个模型做一件事"，AI 2.0 是"一个模型做万事"。AI 1.0 依赖专用模型和标注数据，AI 2.0 通过预训练-微调范式实现通用能力，一个底座模型可通过微调适配无数下游任务。
Q2. 为什么说 2012 年 AlexNet 是深度学习时代的起点？
一句话结论：它用数据证明深度卷积网络可以大幅超越传统方法。ImageNet 竞赛错误率从 26% 降至 15%，ReLU、Dropout、GPU 加速三大创新解决了深度网络训练的核心难题。
Q3. Transformer 为什么能取代 CNN 和 RNN？
一句话结论：它用注意力机制实现了并行计算和长距离依赖捕捉。CNN 受限于局部感受野，RNN 无法并行；Transformer 的自注意力让任意位置直接交互，完全并行，效率提升数十倍。
Q4. 预训练-微调范式为什么重要？
一句话结论：它让"通才"可以快速变成"专才"。预训练用海量无标注数据培养通用能力，微调用少量标注数据适配专业任务，成本和效率都大幅优化。
Q5. 全参数微调和 LoRA 微调如何选择？
一句话结论：资源充足追求效果用全参数，资源有限追求效率用 LoRA。全参数微调更新全部权重，效果最好但需要多卡；LoRA 只训练低秩矩阵，显存降低 70% 以上，工业界主流选择。
关于 PyTorch 2.x 核心技术
Q6. torch.compile 为什么能加速训练？
一句话结论：它通过编译优化消除运行时开销。TorchDynamo 捕获计算图，TorchInductor 生成硬件优化代码，Triton 融合冗余算子，实测加速 1.8~2.1 倍。
Q7. PyTorch 2.x 和 1.x 兼容性如何？
一句话结论：100% 向后兼容，无需改代码。所有 PyTorch 1.x API 仍然可用，现有项目一行代码不改即可升级 2.0 版本。
Q8. DTensor 和传统分布式有什么区别？
一句话结论：DTensor 把分布式细节封装成统一 API。开发者无需关心张量分片、流水线并行的底层实现，像写单卡代码一样写分布式训练。
Q9. PyTorch 2.x 支持哪些硬件？
一句话结论：NVIDIA、AMD、Apple M 系列、CPU 全部支持。一套代码可在不同硬件间无缝切换，降低了硬件依赖和迁移成本。
Q10. 为什么大模型微调需要量化？
一句话结论：量化让大模型在消费级显卡上运行成为可能。7B 模型 FP16 需要约 14GB 显存，4bit 量化后仅需约 4GB，单卡 3090/4090 即可微调。
关于国产大模型选型
Q11. ChatGLM 的核心优势是什么？
一句话结论：中文对话最流畅，生态最成熟。清华团队对中文语义理解、常识推理优化深入，全系列开源，LoRA 微调代码完善。
Q12. DeepSeek 的 MoE 架构有什么优势？
一句话结论：它实现了"大参数、低推理成本"。671B 总参数推理只激活 37B，同等效果下推理算力成本大幅降低。
Q13. ChatGLM 和 DeepSeek 应该如何选择？
一句话结论：通用对话选 ChatGLM，代码数学选 DeepSeek。两个模型在不同维度各有优势，需根据具体业务场景选择。
Q14. 为什么 DeepSeek 对代码和数学任务特别强？
一句话结论：它的训练数据和优化目标针对逻辑推理做了专项设计。DeepSeek-R1 的强化推理模型擅长分步推导，数学竞赛表现优异。
Q15. 国产大模型和国际模型（如 GPT-4）差距还有多大？
一句话结论：通用能力差距缩小，特定场景已具备竞争力。在中文对话、代码生成等场景，国产模型已有不错的表现，但复杂推理、多模态能力仍有差距。
关于实战与工程落地
Q16. LoRA 微调需要多少显存？
一句话结论：7B 模型 LoRA 微调约需 6-8GB 显存。使用梯度检查点 + 4bit 量化，单卡 3090/4090 完全可以运行。
Q17. RLHF 和 SFT 有什么区别？
一句话结论：SFT 是"老师教学生"，RLHF 是"学生自我反思改进"。SFT 用标注数据监督学习，RLHF 用人类反馈强化学习让模型输出更符合人类偏好。
Q18. 什么是 KV Cache？为什么重要？
一句话结论：KV Cache 通过缓存中间结果加速推理。Transformer 推理时，已计算过的 Key-Value 被缓存，避免重复计算，推理速度提升数倍。
Q19. 大模型微调常见问题有哪些？
一句话结论：显存不足、过拟合、训练不稳定、幻觉加重。需要通过量化、早停、学习率调度、对齐优化等技术综合解决。
Q20. 学习大模型开发需要什么前置知识？
一句话结论：Python 基础 + 机器学习概念 + 深度学习入门即可。本专题会从 AI 发展脉络讲起，帮助建立系统性认知，降低学习门槛。
全篇总结：课程导论的三大核心认知
- 认知一：AI 从 1.0 到 2.0 是从"感知"到"认知"、从"判别"到"生成"、从"专用"到"通用"的范式转移
- 认知二：PyTorch 2.x 通过编译加速、分布式封装、硬件适配三大能力，解决了大模型工程落地的核心痛点
- 认知三：ChatGLM 和 DeepSeek 代表了国产大模型的两种路线——通用对话与专业推理，学习者应根据场景选择
后续学习路径
完成本课程导论的学习后，建议按照以下路径深入实践：
专题后续章节预告
- 第二章：PyTorch 2.x 核心组件详解 —— torch.compile 编译原理与实战
- 第三章：Transformer 架构深度解析 —— 从注意力机制到 GPT/BERT/T5
- 第四章：Hugging Face Transformers 实战 —— 模型加载、推理与评估
- 第五章：PEFT 参数高效微调实战 —— LoRA/Adapter/Prefix Tuning
- 第六章：ChatGLM-6B LoRA 微调实战 —— 企业客服场景端到端流程
- 第七章：DeepSeek-Coder 微调实战 —— 代码助手场景专项训练
- 第八章：模型量化与部署 —— 4bit/8bit 量化 + vLLM 推理优化
浙公网安备 33010602011771号