2023年11月26日
在Megatron-Deepspeed项目中如何下载和预处理Wikipedia数据集
摘要： 更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md 下载Wikipedia压缩数据集（enwiki-latest-pages-articles.xml.bz2） 再使用 阅读全文
posted @ 2023-11-26 21:29 marsggbo 阅读(733) 评论(0) 推荐(0)
大模型训练过程中用到的 gpt_merge.txt和gpt_vocab.json是干什么用的？
摘要： 下面这边文章讲的非常清晰，原文链接：https://blog.csdn.net/ljp1919/article/details/113616226 阅读全文
posted @ 2023-11-26 19:18 marsggbo 阅读(355) 评论(0) 推荐(0)