2026年1月21日
datasets使用：
摘要： https://blog.csdn.net/weixin_46933702/article/details/146204154 https://blog.csdn.net/jangheruhai/article/details/140524011 https://hugging-face.cn/do 阅读全文
posted @ 2026-01-21 21:31 小猪肚子嘟嘟 阅读(0) 评论(0) 推荐(0)
【happy-llm】如何从零搭建一个自己的tokenizer
摘要： https://huggingface.co/learn/llm-course/chapter6/8 获取你的corpus（语料库） 为了训练我们的新tokenizer，我们将使用一个小的文本语料库（因此示例运行速度很快）。获取语料库的步骤与本章开头的步骤相似，但这次我们将使用WikiText-2数 阅读全文
posted @ 2026-01-21 21:31 小猪肚子嘟嘟 阅读(2) 评论(0) 推荐(0)
【Happy-LLM】以llama2为例动手搭建一个大模型结构
摘要： 1 Transformer结构 1.1 Attention机制 学习参考：《动手学习深度学习第10章》 1.2 Encoder-Decoder架构 学习参考： 1.3 transformer架构 2 Llama2 大模型架构与动手搭建 2.1 Llama2模型架构 huggingFace Llama 阅读全文
posted @ 2026-01-21 21:30 小猪肚子嘟嘟 阅读(2) 评论(0) 推荐(0)