2024年6月1日
LLM Fine-Tuning技术笺疏
摘要： LLM训练阶段 训练大模型的三个阶段 Pre-training stage，也就是预训练阶段，其主要目的是「提高对下一个Token的预测能力」。预训练也就是从零开始创建训练大模型的意思，是基于海量文本、几万亿Token进行的，需要上万张GPU。如果你不理解什么是Token，你就把它理解成每个toke 阅读全文
posted @ 2024-06-01 13:53 Ray1997 阅读(448) 评论(0) 推荐(0)