博客园 - marsggbo
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=35814
2024-03-23T12:48:08Z
marsggbo
https://www.cnblogs.com/marsggbo/
feed.cnblogs.com
https://www.cnblogs.com/marsggbo/p/18091670
大模型推理框架 vLLM 源码解析(二):Block 模块分配和管理 - marsggbo
1. Block 概览 vLLM 的一个很大创新点是将物理层面的 GPU 和 CPU 可用内存切分成若干个 block,这样可以有效降低内存碎片化问题。具体而言,vLLM 的 block 分为逻辑层面(logical)和物理层面(physical),二者之间存在映射关系。下图很好解释了两个层面 bl
2024-03-23T12:48:00Z
2024-03-23T12:48:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】1. Block 概览 vLLM 的一个很大创新点是将物理层面的 GPU 和 CPU 可用内存切分成若干个 block,这样可以有效降低内存碎片化问题。具体而言,vLLM 的 block 分为逻辑层面(logical)和物理层面(physical),二者之间存在映射关系。下图很好解释了两个层面 bl <a href="https://www.cnblogs.com/marsggbo/p/18091670" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/18027695
OpenAI 的视频生成大模型Sora的核心技术详解(一):Diffusion模型原理和代码详解 - marsggbo
标题党一下,顺便蹭一下 OpenAI Sora大模型的热点,主要也是回顾一下扩散模型的原理。 1. 简单理解扩散模型 简单理解,扩散模型如下图所示可以分成两部分,一个是 forward,另一个是 reverse 过程: forward:这是加噪声的过程,表示为\(q(X_{0:T})\),即在原图(
2024-02-22T08:50:00Z
2024-02-22T08:50:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】标题党一下,顺便蹭一下 OpenAI Sora大模型的热点,主要也是回顾一下扩散模型的原理。 1. 简单理解扩散模型 简单理解,扩散模型如下图所示可以分成两部分,一个是 forward,另一个是 reverse 过程: forward:这是加噪声的过程,表示为\(q(X_{0:T})\),即在原图( <a href="https://www.cnblogs.com/marsggbo/p/18027695" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/18006753
大模型推理框架 vLLM 源码解析(一) - marsggbo
1. Quick Start 创建如下代码,命名为 run.py from vllm import LLM, SamplingParams prompts = [ "Have you followed marsggbo in Zhihu?", "你一键三连了吗?" ] # 输入prompts sam
2024-02-04T10:15:00Z
2024-02-04T10:15:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】1. Quick Start 创建如下代码,命名为 run.py from vllm import LLM, SamplingParams prompts = [ "Have you followed marsggbo in Zhihu?", "你一键三连了吗?" ] # 输入prompts sam <a href="https://www.cnblogs.com/marsggbo/p/18006753" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17966269
vllm 安装踩坑 (The NVIDIA driver on your system is too old) - marsggbo
我的环境如下: nvidia-smi 显示 cuda 版本是 11.7 目前最新vllm 要求的 torch 版本是 2.1.2,该版本要求的 cuda 版本是 11.8,所以不匹配。执行安装会遇到如下错误 RuntimeError: The NVIDIA driver on your system
2024-01-15T12:35:00Z
2024-01-15T12:35:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】我的环境如下: nvidia-smi 显示 cuda 版本是 11.7 目前最新vllm 要求的 torch 版本是 2.1.2,该版本要求的 cuda 版本是 11.8,所以不匹配。执行安装会遇到如下错误 RuntimeError: The NVIDIA driver on your system <a href="https://www.cnblogs.com/marsggbo/p/17966269" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17904977.html
IEEE 浮点数表示原理 - marsggbo
原文: https://zhuanlan.zhihu.com/p/144697348
2023-12-16T08:25:00Z
2023-12-16T08:25:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】原文: https://zhuanlan.zhihu.com/p/144697348 <a href="https://www.cnblogs.com/marsggbo/p/17904977.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17883514.html
LLM 学习笔记-Deepspeed-MoE 论文 - marsggbo
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战: 场景局限:
2023-12-07T09:33:00Z
2023-12-07T09:33:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战: 场景局限: <a href="https://www.cnblogs.com/marsggbo/p/17883514.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17871992.html
AttributeError: module 'torch' has no attribute 'fx'解决办法 - marsggbo
这个报错原因很好解决,只需要在引入包的时候调用下面的语句就可以了 import torch.fx
2023-12-02T10:23:00Z
2023-12-02T10:23:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】这个报错原因很好解决,只需要在引入包的时候调用下面的语句就可以了 import torch.fx <a href="https://www.cnblogs.com/marsggbo/p/17871992.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17871464.html
LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么? - marsggbo
闲言碎语 我在刚开始接触 huggingface (后简称 hf) 的 transformers 库时候感觉很冗杂,比如就模型而言,有 PretrainedModel, AutoModel,还有各种 ModelForClassification, ModelForCausalLM, AutoMode
2023-12-02T04:52:00Z
2023-12-02T04:52:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】闲言碎语 我在刚开始接触 huggingface (后简称 hf) 的 transformers 库时候感觉很冗杂,比如就模型而言,有 PretrainedModel, AutoModel,还有各种 ModelForClassification, ModelForCausalLM, AutoMode <a href="https://www.cnblogs.com/marsggbo/p/17871464.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17870495.html
LLM 入门笔记-Tokenizer - marsggbo
以下笔记参考huggingface 官方 tutorial: https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 tokenization 流程,接下来会对每个步骤做进一步的介绍。 1. Normalization normalize
2023-12-01T09:01:00Z
2023-12-01T09:01:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】以下笔记参考huggingface 官方 tutorial: https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 tokenization 流程,接下来会对每个步骤做进一步的介绍。 1. Normalization normalize <a href="https://www.cnblogs.com/marsggbo/p/17870495.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17858013.html
在Megatron-Deepspeed项目中如何下载和预处理Wikipedia数据集 - marsggbo
更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md 下载Wikipedia压缩数据集(enwiki-latest-pages-articles.xml.bz2) 再使用
2023-11-26T13:30:00Z
2023-11-26T13:30:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】更详细的查看 https://github.com/marsggbo/Megatron-DeepSpeed/blob/main/tutorials/gpt2_wikipedia.md 下载Wikipedia压缩数据集(enwiki-latest-pages-articles.xml.bz2) 再使用 <a href="https://www.cnblogs.com/marsggbo/p/17858013.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17857742.html
大模型训练过程中用到的 gpt_merge.txt和gpt_vocab.json是干什么用的? - marsggbo
下面这边文章讲的非常清晰,原文链接:https://blog.csdn.net/ljp1919/article/details/113616226
2023-11-26T11:19:00Z
2023-11-26T11:19:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】下面这边文章讲的非常清晰,原文链接:https://blog.csdn.net/ljp1919/article/details/113616226 <a href="https://www.cnblogs.com/marsggbo/p/17857742.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17748554.html
transformer模型训练、推理过程分析 - marsggbo
复杂度分析 推理过程图示 Double QLORA示意图
2023-10-08T03:52:00Z
2023-10-08T03:52:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】复杂度分析 推理过程图示 Double QLORA示意图 <a href="https://www.cnblogs.com/marsggbo/p/17748554.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17659231.html
【转载】CMake从头开始学习-上 - marsggbo
这篇文章写的太好了非常适合新手入门,原文链接是 https://subingwen.cn/cmake/CMake-primer/index.html ![image](https://img2023.cnblogs.com/blog/746820/202308/746820-202308261754
2023-08-26T09:55:00Z
2023-08-26T09:55:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】这篇文章写的太好了非常适合新手入门,原文链接是 https://subingwen.cn/cmake/CMake-primer/index.html ![image](https://img2023.cnblogs.com/blog/746820/202308/746820-202308261754 <a href="https://www.cnblogs.com/marsggbo/p/17659231.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17648483.html
【转载】Macbook M1/M2如何调试c++代码?使用lldb即可 - marsggbo
> 转载自:https://www.zybuluo.com/qidiandasheng/note/349994#:~:text=GDB%3A,C%2B%2B%E6%88%96%E8%80%85Python%E6%8F%92%E4%BB%B6%E3%80%82 Macbook M1/M2无法安装gdb
2023-08-22T06:37:00Z
2023-08-22T06:37:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】> 转载自:https://www.zybuluo.com/qidiandasheng/note/349994#:~:text=GDB%3A,C%2B%2B%E6%88%96%E8%80%85Python%E6%8F%92%E4%BB%B6%E3%80%82 Macbook M1/M2无法安装gdb <a href="https://www.cnblogs.com/marsggbo/p/17648483.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17629260.html
【转载】阮一峰:Make 命令教程 - marsggbo
![image](https://img2023.cnblogs.com/blog/746820/202308/746820-20230814172023383-2083507048.png) https://www.ruanyifeng.com/blog/2015/02/make.html
2023-08-14T09:21:00Z
2023-08-14T09:21:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】![image](https://img2023.cnblogs.com/blog/746820/202308/746820-20230814172023383-2083507048.png) https://www.ruanyifeng.com/blog/2015/02/make.html <a href="https://www.cnblogs.com/marsggbo/p/17629260.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17616325.html
c++中template的用法是什么? - marsggbo
> 下文由ChatGPT生成 在C++中,`template`是一种通用编程工具,用于创建通用的函数或类。通过使用模板,可以编写可以应用于不同数据类型的函数或类,从而实现代码的重用性和灵活性。`template`的使用方法如下: ### 1. 函数模板(Function Templates) 函数模
2023-08-09T03:03:00Z
2023-08-09T03:03:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】> 下文由ChatGPT生成 在C++中,`template`是一种通用编程工具,用于创建通用的函数或类。通过使用模板,可以编写可以应用于不同数据类型的函数或类,从而实现代码的重用性和灵活性。`template`的使用方法如下: ### 1. 函数模板(Function Templates) 函数模 <a href="https://www.cnblogs.com/marsggbo/p/17616325.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17596117.html
pip install指定gcc g++版本的方法 - marsggbo
有时候安装某个包可能会遇到gcc版本过低的问题,但是系统上可能安装了好几个版本的gcc。那么一种很简单的解决办法如下: - 1. 切换到gcc对应的路径,例如`cd /usr/local/bin/gcc` 假如这个路径下有这么几个版本的gcc,g++: ```bash ls >>> gcc gcc-
2023-08-01T04:04:00Z
2023-08-01T04:04:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】有时候安装某个包可能会遇到gcc版本过低的问题,但是系统上可能安装了好几个版本的gcc。那么一种很简单的解决办法如下: - 1. 切换到gcc对应的路径,例如`cd /usr/local/bin/gcc` 假如这个路径下有这么几个版本的gcc,g++: ```bash ls >>> gcc gcc- <a href="https://www.cnblogs.com/marsggbo/p/17596117.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17571354.html
FlashAttention算法简介 - marsggbo
# 1. Motivation 不同硬件模块之间的带宽和存储空间有明显差异,例如下图中左边的三角图,最顶端的是GPU种的SRAM,它的容量非常小但是带宽非常大,以A100 GPU为例,它有108个流式多核处理器,每个处理器上的片上SRAM大小只有192KB,因此A100总共的SRAM大小是192KB
2023-07-21T06:47:00Z
2023-07-21T06:47:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】# 1. Motivation 不同硬件模块之间的带宽和存储空间有明显差异,例如下图中左边的三角图,最顶端的是GPU种的SRAM,它的容量非常小但是带宽非常大,以A100 GPU为例,它有108个流式多核处理器,每个处理器上的片上SRAM大小只有192KB,因此A100总共的SRAM大小是192KB <a href="https://www.cnblogs.com/marsggbo/p/17571354.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17541399.html
【转】一文看懂 LLaMA 中的旋转式位置编码(Rotary Position Embedding) - marsggbo
原文:https://mp.weixin.qq.com/s/0peSNWN0ypMopPR0Q_pujQ ![image](https://img2023.cnblogs.com/blog/746820/202307/746820-20230710154854182-929415343.png)
2023-07-10T07:50:00Z
2023-07-10T07:50:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】原文:https://mp.weixin.qq.com/s/0peSNWN0ypMopPR0Q_pujQ ![image](https://img2023.cnblogs.com/blog/746820/202307/746820-20230710154854182-929415343.png) <a href="https://www.cnblogs.com/marsggbo/p/17541399.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/marsggbo/p/17531721.html
Oh-my-zsh主题乱码解决办法 - marsggbo
Oh-my-zsh主题乱码解决办法是安装 Powerline 字体。 打开终端,参考以下命令安装 Powerline 字体: ```bash cd ~/Downloads && git clone https://github.com/powerline/fonts.git #将 Powerline
2023-07-06T03:28:00Z
2023-07-06T03:28:00Z
marsggbo
https://www.cnblogs.com/marsggbo/
【摘要】Oh-my-zsh主题乱码解决办法是安装 Powerline 字体。 打开终端,参考以下命令安装 Powerline 字体: ```bash cd ~/Downloads && git clone https://github.com/powerline/fonts.git #将 Powerline <a href="https://www.cnblogs.com/marsggbo/p/17531721.html" target="_blank">阅读全文</a>