2026年1月14日
12.7.4 键值存储
摘要： https://aistudio.google.com/prompts/1dMqBhsgc3z_bzWBiLfCbA9TdQOXVXC61 阅读全文
posted @ 2026-01-14 09:53 最爱丁珰 阅读(6) 评论(0) 推荐(0)
12.7.2 环同步
摘要： 这张图解释的是深度学习分布式训练中非常经典且高效的通信算法——Ring All-Reduce（环形全归约）。 简单来说，它的目的是解决多张GPU如何最快地把各自计算出的梯度（Gradients）加在一起的问题。 以下是通俗易懂的详细解释： 1. 为什么要这么做？（背景） 在多显卡训练时，每张卡都会算 阅读全文
posted @ 2026-01-14 08:29 最爱丁珰 阅读(11) 评论(0) 推荐(0)