深度学习和大模型快速入门（面向大二基础，用大模型对话学习）

我不是从业者，本文也是写给非从业者的快速入门路径，有些朋友工作中要用到一些概念理解。

深度学习和大模型是这个时代的基本要素，也很有数学和工程的美感，有哲学意义，而且简单入门难度不高投入不大，值得学习。

注：

1.简单理解基本原理不难

快速入门，建立感性认知和大画面。破魅和建立兴趣：对神经网络、大模型、IT、学习本身。

2.前置要求

大二，基本的高数、线代、编程知识；

入门时不需要：

太多传统机器学习、统计学习、最优化知识，需要时回头学。很多人卡在这一步，容易劝退，市面上很多推崇的的书其实名不副实。

3.让大模型不断给自己举例、科普、列pytorch代码，可以快速了解。

4.不必纠结教科书。市面上的书大多中式教材，适合学习的比较少。

机器学习、AI乃至整个IT学习，不适合高中生的死抠纠结课本和全套基础的学习方式，而适合工程师式的迭代学习。

 

一、神经网络

基本的神经元，运算很简单，多元一次方程（线性变换）+一个非线性函数，初中数学；

基本的全连接神经网络，结构很简单；

万能近似定理，这是神经网络拟合能力的原理；

学习梯度下降，反向传播；原理很简单，虽然实操比较麻烦

通过以上，了解到深度学习这个事本质“不难”

初步了解训练过程的细节：梯度爆炸消失，泛化，正则化，各类优化器Adam, Momentum, RMSprop等，不必纠结

初步了解pytorch

 

二、CNN

了解基本的计算机图像处理，知道卷积、滤波等操作并不神秘，很简单。

了解CNN的基本结构，理解根据应用场景设计NN。

了解不同网络层次自然分工，低层次学纹理边缘等局部特征，高层次学语义。

了解LeNet, Alexnet, GoogleNet, ResNet的结构；

用pytorch写一些简单案例；参考动手学习深度学习pytorch版

 

三、视觉（可以暂时跳过）

了解从R-CNN到Yolo系列的演化史，深度学习在学术和工程上不断进化演化的经典案例。

了解语义分割：U-Net, DeepLab, Swin Transformer等

了解生成模型；GAN，VAE，风格迁移，扩散模型, CLIP，对比学习；这部分比较有趣

//CNN、图像处理、yolo系列等很符合人们的“直观”逻辑，也比较有趣

 

四、RNN 自然语言处理

了解NLP的基本概念（词嵌入, Seq2Seq等）

学习RNN、LSTM、GRU的基本原理；并不复杂

 

五、大模型基本原理

学习attention原理，很简单；

学习transformer结构，并不复杂，搞清楚QKV三个矩阵；不要被网上不好的科普文章唬到； 3B1B的科普视频不错

MHA, GQA, MLA

Transformer可视化： transformer-explainer；http://bbycroft.net/llm等

了解bert，gpt；自监督学习

了解gpt系列的发展历史；

ViT

用HuggingFace的库加载模型

 

六、transformer的改造优化

attention机制的改良：稀疏注意力，线性注意力；

FFN的改造：MoE模型等

旋转位置编码RoPE

纯解码器

新架构：Mamba, RWKV

通过这些优化可以更好的理解原结构本身

学线性注意力后，可以回头学SVM中的核方法，理解这个经典算法和核技巧。

 

七、训练

Scaling Laws

微调：loRA

优化器：AdamW/Lion；

梯度检查点

FlashAttention

分布式训练：分片，ZeRO，Megatron-LM，DeepSpeed，流水线并行

指令遵循：指令微调和人类反馈强化学习RLHF等

//在这阶段学习强化学习的知识：Q表格，Q-learning，DQN；深度策略梯度法：演员-评论员，TPRO，PPO

模型编辑

RAG

多模态：了解基于适配器的编码器-解码器架构、双编码器架构、融合编码器架构等；

 

八、部署、应用

压缩：量化、剪枝

知识蒸馏

vLLM, KV Cache, PagedAttention

TensorRT-LLM

TGI

Prompt Engineering：思维链，思维树

Agent: LangChain，Crew AI，AutoGPT等

 

九、GPU与算力

了解基本的计算机体系结构知识，乘法器运算；

了解GPU的基本结构，cuda运算；

了解tensorcore, CUDAcore, RTcore三种GPU核心计算单元的任务、结构；了解GEMM，mac，FMA运算；

了解服务器互联，Infiniband；显卡互联，nvlink

 

十、后续

1.“跟李沐学AI”：动手学深度学习pytorch版，论文精读等；适合科研方向

2.Andrej Karpathy的系列视频，一线实操高手，但又温和耐心，不故弄玄虚；讲话比较舒服，是技术老哥味，不是那种典型硅谷理工味。