Pre-training vs Fine-tuning

Pre-training vs Fine-tuning

https://developer.volcengine.com/articles/7399549896799780874

Fine-tuning

微调的技术原理是什么？在预训练模型的基础上，针对特定任务或数据领域，通过 在新任务的小规模标注数据集上进一步训练 和 调整模型的部分或全部参数 ，使模型能够更好地适应新任务，提高在新任务上的性能。

Fine-tuning

微调如何分类？ 微调分为在新任务数据集上全面或基于人类反馈的监督训练（SFT与RLHF），以及调整模型全部或部分参数以高效适应新任务（Full Fine-tuning与PEFT）。 ### 1. 在新任务的小规模标注数据集上进一步训练

这种方式通常使用预训练模型作为基础，并在新任务的小规模标注数据集上进行进一步的训练。这种训练过程可以根据具体的训练方法和目标细分为不同的策略， 如监督微调（Supervised Fine-tuning, SFT）和基于人类反馈的强化学习微调（Reinforcement Learning with Human Feedback, RLHF）。 SFT or RLHF 1. #### 监督微调（SFT）

 

微调领域大模型

审计大模型

https://arxiv.org/pdf/2402.09334v2

https://arxiv.org/pdf/2410.10873v1

https://github.com/HooRin/AuditWen

 

网络安全大模型

https://github.com/ddzipp/AutoAudit/tree/main?tab=readme-ov-file