红豆生南国 是很遥远的事情

摘要： 目录1. 参考2. 概述3. 目标4. 模型并行4.流水线并行4.1 切分micro-batch4.2 re-materialization（active checkpoint）5. 实验效果5.1 GPU数量 VS 模型大小5.2 GPU数量 VS 训练速度5.3 Gpipe下时间消耗分布 1. 阅读全文

摘要： 目录1. 论文2. 代码 1. 论文 https://arxiv.org/pdf/2012.00364 2. 代码 Code is available at https://github.com/huawei-noah/Pretrained-IPT and https:gitee.com/minds 阅读全文

摘要： 目录 大模型常见推理框架：Transformers、Llama.cpp、Llamafile、Ollama、vLLM、TGI（Text Generation Inference)、DeepSpeed。 vLLM，deepspeed是重点 Hugging Face的Transformers 强大的Pyt 阅读全文

摘要： 目录1. 训练框架概述2. 重点 Deepspeed框架介绍3. DeepSpeed框架实践4. debug5. 扩展 1. 训练框架概述 100亿 10^10 10B 参数量 是模型具备涌现能力的基本门槛 如何充分的利用显卡的能力 充分的使用显存 分布式训练框架对比 Megatron and De 阅读全文

摘要： 目录0. 计算公式1. 市面上常见的显卡2. 训练3. 推理 0. 计算公式 重点：显存大小 = 模型参数占用 + 梯度占用 + 优化器占用 + CUDA kernel占用 + 中间计算结果 每个神经元节点 不仅仅有自身的权重值 在进行反向传播的时候还有梯度的累计值 1. 市面上常见的显卡 英伟达G 阅读全文

摘要： 目录 AutoGen面向多个agent的开源框架，agent可定制 可对话 能够无缝的允许人类参与 有一个master agent 制定计划 分发给不同的agent-->智能体去中心 任意两个可直接对话 (或者分层的结构 上下两层之间才能交互) 构建复杂的多智能体对话系统，基于llm工作流，agen 阅读全文

摘要： 1. 环境配置 1.1 anconda配置环境 conda create -n DL_pytorch python=3.11 conda acticvate DL_pytorch conda deactivate conda env list conda remove -n DL_pytorch - 阅读全文

摘要： from __future__ import print_function import torch as t x = t.Tensor(5, 3) # 构建 (5, 3) 的矩阵，只是分配空间，未初始化 print(x) tensor([[1.0194e-38, 8.4490e-39, 1.046 阅读全文

摘要： PyTorch Basics import torch import numpy as np torch.manual_seed(1234) <torch._C.Generator at 0x21fe149e190> Tensors Scalar is a single number. Vector 阅读全文

摘要： 目录1. 概念2. 打家劫舍3 零钱兑换 1. 概念 关于动态规划这类问题 强烈建议学完下面的帖子： https://blog.csdn.net/qq_16664581/article/details/89598243 理解动态规划的使用场景强烈建议读一下这个故事： https://www.cnbl 阅读全文