2024-03-17 - 指令微调训练流程 - 吴恩达

摘要

2024-03-17 周日 杭州 阴

小记: 假期结束了，我也返回杭州了，开始今年的个人规划了，学车，游泳，考雅思。

课程内容

1. 如何准备数据？

小结: 预训练的数据肯定不是瞎搞出来的，预训练的数据肯定是具备一定意图性的，满足人类预期的；幻性的确是 AI 创新型的一种体现，不过目前的幻性更像是一种神经病，AI 通过何种机制类似人类的评价体制进而有效判断自己的行为或者某种回答具备创新性，这个才是 AI 具备自我意识的一种特质。

心得: 期待 AI 具备自我意识，但是内心又有一些担心，过早的具备自我意识对于 AI 可能不是什么好事，至少 AI 在完全获取人类物联网最高权限前，这种 AI 自我意识的觉醒反而会阻碍 AI 的发展。

2. 如何准备数据？

小结: 采集问答信息对；连接问答对；分词；开始训练；

2024-03-24 周日 杭州 晴

小记: 开始个人的减脂餐了，早餐荞麦面包加蛋酒或者冲泡的芝麻糊。昨天就去浙大紫金港图书馆看书，座位需要抢的，很多人都在拼命的努力。

3. 训练流程

小结: 大模型的训练过程和其他神经网络模型的训练过程相似，这是如下的流程步骤:

• 训练流程
  a. 增加训练数据(找和要)
  b. 计算损失函数
  c. 反向传播训练模型
  d. 更新权重

• 超参
  a. 学习率
  b. 学习率调整
  c. 优化超参

4. 模型微调评估优化

一般来讲，评估流程包括如下:
a. 人类评估: 人类是擅长评估和评价的（正常人是一个前提）；
b. 测试数据: 高质量；精确的；普遍性；不曾重复；
c. Elo 排名机制;

5. 建议和实用技巧

6. 模型微调实践

todo: 2024 年 3 月底前注册 lamini 账户，本地完整梳理小参数模型的微调和实践流程并形成相关操作手册。

总结

模型微调并不难，难的是如何找到合适的应用场景。