2024年11月17日
从零开始的 LLM: nanoGPT 学习笔记（2/2）
摘要： 上篇： 从零开始的 LLM: nanoGPT 学习笔记（1/2） 尝试了完整的训练的过程，nanoGPT 仓库中还有复现 GPT2 的代码，可惜对计算资源要求太高（基于 OpenWebText 数据集，8 卡 A100，训练 4 天），不是个人电脑玩的转了，只能跳过这一步，尝试后面的 finetun 阅读全文
posted @ 2024-11-17 12:17 zion03 阅读(157) 评论(0) 推荐(0)