2024-03-03 - 微调在训练过程中的位置 - 吴恩达

摘要

2024-03-03 周日 杭州 🌤

小记: 认真搞环境，开开信息规划旅游路线。

课程内容

1. 预训练(PreTraining)

心得: 预训练前，大模型本身不会任何知识，通过清洗过的标准化的知识训练以后，基础模型就可以基于已有的知识预测下一个位置可能出现的语法词义，这一步叫做九年义务教育。

2. 训练数据集的特征

心得: 大模型的数据集确实很顶的，因为对于训练大模型的数据，一是训练数据的格式一般不对外公开，再者数据集的数据不是简单的数据清理和格式整理，训练数据一般是需要专业领域知识进行筛选过才可以的。这种数据很难得的，放点垃圾也是可以训练的，训练出来的也会是垃圾。

3. 预训练后的 finetuing

4. finetuing 可以做些什么？

5. finetune 的任务

6. 第一次 finetuning(微调)

总结

微调本身也没啥，就是要整理数据，烦都要烦死啦！