DeepSeek 开源记-第6天-DeepSeek-V3/R1 推理系统概述

DeepSeek 开源工作第6天

🚀 Day 6 of #OpenSourceWeek: One More Thing – DeepSeek-V3/R1 Inference System Overview

Optimized throughput and latency via:
🔧 Cross-node EP-powered batch scaling
🔄 Computation-communication overlap
⚖️ Load balancing

Statistics of DeepSeek's Online Service:
⚡ 73.7k/14.8k input/output tokens per second per H800 node
🚀 Cost profit margin 545%

💡 We hope this week's insights offer value to the community and contribute to our shared AGI goals.
📖 Deep Dive: https://bit.ly/4ihZUiO

---

🚀 #OpenSourceWeek第 6 天：还有一件事 – DeepSeek-V3/R1 推理系统概述

通过以下方式优化吞吐量和延迟：
🔧跨节点 EP 驱动的批量扩展
🔄计算与通信重叠
⚖️负载平衡

DeepSeek 在线服务统计：
⚡每个 H800 节点每秒有 73.7k/14.8k 个输入/输出令牌
🚀成本利润率 545%

💡我们希望本周的见解能够为社区带来价值，并为我们共同的 AGI 目标做出贡献。
📖深入探究：https://bit.ly/4ihZUiO

DeepSeek-V3 / R1 推理系统概览

📖 英文版: 🔗DeepSeek-V3/R1 Inference System Overview
📖 中文版: 🔗DeepSeek-V3/R1 推理系统概览

DeepSeek 开源组织及X账号

• https://github.com/deepseek-ai
• https://x.com/deepseek_ai