marsggbo

摘要： 闲言碎语 我在刚开始接触 huggingface （后简称 hf） 的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedModel, AutoModel，还有各种 ModelForClassification, ModelForCausalLM, AutoMode 阅读全文

摘要： 以下笔记参考huggingface 官方 tutorial： https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 tokenization 流程，接下来会对每个步骤做进一步的介绍。 1. Normalization normalize 阅读全文

摘要： 更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md 下载Wikipedia压缩数据集（enwiki-latest-pages-articles.xml.bz2） 再使用 阅读全文

摘要： 下面这边文章讲的非常清晰，原文链接：https://blog.csdn.net/ljp1919/article/details/113616226 阅读全文

摘要： 复杂度分析 推理过程图示 Double QLORA示意图 阅读全文

摘要： 这篇文章写的太好了非常适合新手入门，原文链接是 https://subingwen.cn/cmake/CMake-primer/index.html ![image](https://img2023.cnblogs.com/blog/746820/202308/746820-202308261754 阅读全文

摘要： > 转载自：https://www.zybuluo.com/qidiandasheng/note/349994#:~:text=GDB%3A,C%2B%2B%E6%88%96%E8%80%85Python%E6%8F%92%E4%BB%B6%E3%80%82 Macbook M1/M2无法安装gdb 阅读全文

摘要：  https://www.ruanyifeng.com/blog/2015/02/make.html 阅读全文

摘要： > 下文由ChatGPT生成 在C++中，`template`是一种通用编程工具，用于创建通用的函数或类。通过使用模板，可以编写可以应用于不同数据类型的函数或类，从而实现代码的重用性和灵活性。`template`的使用方法如下： ### 1. 函数模板（Function Templates） 函数模 阅读全文

摘要： 有时候安装某个包可能会遇到gcc版本过低的问题，但是系统上可能安装了好几个版本的gcc。那么一种很简单的解决办法如下： - 1. 切换到gcc对应的路径，例如`cd /usr/local/bin/gcc` 假如这个路径下有这么几个版本的gcc,g++: ```bash ls >>> gcc gcc- 阅读全文