LLM学习路线

写在前面

路是走出来的。在这里写几点给自己提个醒：

• 明确目标，提升专注力
• 少想多做，提升动手能力
• 学习基础知识的同时，要丰富项目经历

LLM学习路线

参考链接：

• LLM相关知识及面试题：https://wdndev.github.io/llm_interview_note/#/
• 问题清单：https://mp.weixin.qq.com/s/9ctZKgDwiIDkRdHbeBftBA

算法

LeetCode Hot 100 至少做两遍

Transformer

1. 模型结构
2. 自注意力机制公式 QKV，根号d
3. 注意力机制：MHA, MQA, GQA, MLA
4. 归一化：batch norm, Layer norm,
5. 位置编码：相对位置编码，绝对位置编码，旋转位置编码

Bert

微调

• Lora, QLora
• prefix tuning, prompt tuning

SFT和RLHF的区别和作用

强化学习方法

1. PPO
2. DPO
3. GRPO

检索增强 RAG

最近出的大模型

多看最新的技术报告：包括deepseek, qwen, llama

1. DeepSeekV3
2. DeepSeekR1
3. QWen2.5
4. LLama3.1

手撕代码

1. MHA
2. LayerNorm
3. Transformer Encoder (MHA+LayerNorm+FFN)
4. PE（绝对位置编码）
5. ROPE
6. SwiGLU
7. RmsNorm