摘要:
闲言碎语 我在刚开始接触 huggingface (后简称 hf) 的 transformers 库时候感觉很冗杂,比如就模型而言,有 PretrainedModel, AutoModel,还有各种 ModelForClassification, ModelForCausalLM, AutoMode 阅读全文
摘要:
以下笔记参考huggingface 官方 tutorial: https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 tokenization 流程,接下来会对每个步骤做进一步的介绍。 1. Normalization normalize 阅读全文
摘要:
更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md 下载Wikipedia压缩数据集(enwiki-latest-pages-articles.xml.bz2) 再使用 阅读全文
摘要:
下面这边文章讲的非常清晰,原文链接:https://blog.csdn.net/ljp1919/article/details/113616226 阅读全文
摘要:
复杂度分析 推理过程图示 Double QLORA示意图 阅读全文
摘要:
这篇文章写的太好了非常适合新手入门,原文链接是 https://subingwen.cn/cmake/CMake-primer/index.html ![image](https://img2023.cnblogs.com/blog/746820/202308/746820-202308261754 阅读全文
摘要:
> 转载自:https://www.zybuluo.com/qidiandasheng/note/349994#:~:text=GDB%3A,C%2B%2B%E6%88%96%E8%80%85Python%E6%8F%92%E4%BB%B6%E3%80%82 Macbook M1/M2无法安装gdb 阅读全文
摘要:
![image](https://img2023.cnblogs.com/blog/746820/202308/746820-20230814172023383-2083507048.png) https://www.ruanyifeng.com/blog/2015/02/make.html 阅读全文
摘要:
> 下文由ChatGPT生成 在C++中,`template`是一种通用编程工具,用于创建通用的函数或类。通过使用模板,可以编写可以应用于不同数据类型的函数或类,从而实现代码的重用性和灵活性。`template`的使用方法如下: ### 1. 函数模板(Function Templates) 函数模 阅读全文
摘要:
有时候安装某个包可能会遇到gcc版本过低的问题,但是系统上可能安装了好几个版本的gcc。那么一种很简单的解决办法如下: - 1. 切换到gcc对应的路径,例如`cd /usr/local/bin/gcc` 假如这个路径下有这么几个版本的gcc,g++: ```bash ls >>> gcc gcc- 阅读全文