2024-02-11 - ChatGLM部署和微调 - 卢菁

摘要

2024-02-11 周日 桑梓 晴

小记: 明知道 AI 将会颠覆一切，但是目前又是风平浪静。

课程内容

1. 大模型三要素

• 算法: 模型结构，训练方法；
• 数据: 数据和模型效果之间的关系，token 分词方法；
• 算力: 英伟达 GPU ，模型量化；

2. 大模型对话系统架构

3. 提示学习: 提示工程的支撑

4. 基础 prompt 提示

5. 高级 prompt 提示

6. 大模型内核: Transformer

7. 大模型的架构

8. 大模型调参难点

为什么很少直接微调？

• 参数多，内存不容易放下；
• 参数多，需要对应更大的数据；
• 参数多，不容易收敛；
• 参数多，调参时间过长；

9. 参数高效微调方法

10. 大数据类型

• BLOOM 大模型训练数据

• PALM 大模型训练数据
  

• 常见英文数据集

• 常见中文数据集

11. 幂律

• 参数量和数据量之间的关系

• 大模型的分词
  

• 常见大模型词表
  

12. 算法并行

13. 模型压缩和加速

14. 英伟达历代产品架构

15. TensorCore(张量核心)

• 稀疏矩阵加速运算

16. 模型训练

• 知识压缩

• 审核系统

• 智能纠错

总结