摘要：
PyTorch 2.x 深度学习专题【左扬精讲】—— 讲讲模型太大：超深、超宽与大数据量的显存挑战 本专题内容导航 训练深度学习模型时，"显存不够"是每个算法工程师都会遇到的典型问题。运行代码后屏幕弹出 CUDA out of memory 报错。 NVIDIA A100 单卡提供 80GB HBM 阅读全文
posted @ 2026-08-06 17:46
左扬
阅读(33)
评论(0)
推荐(0)
摘要：
InfiniBand 专题【左扬精讲】—— InfiniBand 上层：协议、传输与管理层 在上一单元中，我们深入探讨了InfiniBand网络层的传输机制与流量控制原理。 作为高性能互连网络的基石，InfiniBand不仅仅是一套物理和传输规范，更构建了完整的五层协议栈。本单元我们将视线从 "怎么 阅读全文
posted @ 2026-08-04 19:23
左扬
阅读(53)
评论(0)
推荐(0)
摘要：
InfiniBand 专题【左扬精讲】—— InfiniBand 网络层：GID 与子网路由 InfiniBand（简称 IB）网络层是 IB 架构中承上启下的关键层次，它使得跨子网通信成为可能。与传统以太网依赖 IP 地址进行三层路由类似，IB 网络层使用 GID（Global Identifie 阅读全文
posted @ 2026-08-04 18:33
左扬
阅读(69)
评论(0)
推荐(0)
摘要：
InfiniBand技术专题【左扬精讲】—— 链路层详解：从数据包到流量控制 InfiniBand（简称 IB）是一种为 HPC 和 AI 训练集群设计的高速互连网络，相比传统以太网，它能提供 微秒级甚至亚微秒级 的端到端延迟。 本篇深入探讨 InfiniBand 链路层的核心知识，包括数据包管理、 阅读全文
posted @ 2026-08-04 17:32
左扬
阅读(63)
评论(0)
推荐(0)
摘要：
InfiniBand 专题【左扬精讲】—— InfiniBand 物理层：五层架构与数据包结构入门 InfiniBand（简称 IB）是一种为 HPC 和 AI 训练集群设计的高速互连网络，相比传统以太网，它能提供 微秒级甚至亚微秒级 的端到端延迟。 本篇是 InfiniBand 架构的入门奠基篇， 阅读全文
posted @ 2026-08-04 16:05
左扬
阅读(49)
评论(0)
推荐(0)
摘要：
InfiniBand 专题【左扬精讲】—— InfiniBand 架构简介：从五层模型到子网管理 InfiniBand（通常简称 IB）在高性能计算（HPC）、AI 训练集群、分布式存储等场景里被广泛使用，它和我们熟知的以太网在协议设计思路、转发模型、管理方式上都有非常明显的差异。 本篇以 NVID 阅读全文
posted @ 2026-08-03 23:38
左扬
阅读(68)
评论(2)
推荐(0)
摘要：
PyTorch 2.x 深度学习专题【左扬精讲】—— 大规模分布式训练核心要点：从并行策略到通信原语的理论知识 分布式训练 数据并行 模型并行 流水线并行 张量并行 通信原语 All-Reduce NCCL 学习重点提示 本文涵盖分布式训练的核心知识，内容深度依次递进。建议读者根据自身背景选择性深入 阅读全文
posted @ 2026-08-03 14:11
左扬
阅读(32)
评论(0)
推荐(0)
摘要：
PyTorch 2.x 深度学习专题【左扬精讲】—— 计算大模型的参数量：从 Embedding 到 LM Head，以 GPT-3 175B 为例 大模型火了好几年，但 "这个模型有多少参数"这个问题，真正能从头推一遍的人少之又少。 本篇来补上这块硬功夫——把 GPT-3 175B 的参数量从 E 阅读全文
posted @ 2026-08-02 19:45
左扬
阅读(44)
评论(0)
推荐(0)
摘要：
PyTorch 2.x 深度学习专题【左扬精讲】—— Attention 的两个补丁：Positional Encoding 与 Masked Self-Attention，从 Encoder 跨到 Decoder 上一篇把 Self-Attention 的四步公式 Softmax(Q K^T / 阅读全文
posted @ 2026-08-02 17:58
左扬
阅读(20)
评论(0)
推荐(0)
摘要：
PyTorch 2.x 深度学习专题【左扬精讲】—— 注意力机制到底在做什么，Q/K/V 怎么来的？一文读懂 Attention 注意力机制 本文是 PyTorch 2.x 深度学习专题【左扬精讲】 系列：把 Transformer 里的 Self-Attention 一次性讲透——Scaled D 阅读全文
posted @ 2026-08-01 15:59
左扬
阅读(37)
评论(0)
推荐(0)
浙公网安备 33010602011771号