第二周学习记录

学习任务

1、熟悉LLM预训练-微调-推理流程：预训练、SFT微调(PEFT)、对齐微调、RLHF、提示词
2、学习大模型训练/微调数据集格式，构建自己的数据集
3、部署LLaMA-Factory项目， 用无代码界面熟悉大模型部署/训练/评估/本地API生成

已完成的任务

1、LLM预训练-微调全流程的代码实践
2、微调理论的学习和实践
3、私有数据集的构建

未完成的任务

1、强化学习对齐微调
2、LLaNA-Factory无代码页面的操作

提示问题

1、上下文预训练、微调、强化学习对齐三种方法，如何选择？
答：选择何种方法，取决于需求。譬如，对于我提出的任务，模型的输出不够专业或者内容深度不够，需要选择微调，使用需求领域的知识进行微调；对于提出的任务，模型的输出不符合预期形式，模型回答太过生硬，那么需要对齐。
2、文件格式以及文件格式的加载方式
3、前沿技术

产出链接

https://files.cnblogs.com/files/blogs/873789/geometric.zip?t=1784717791&download=true