2025年12月29日
deepspeed/vllm底层原理
摘要： DeepSpeed 聚焦于大模型高效训练（同时支持推理优化），通过分布式技术突破训练的显存、算力瓶颈； vLLM 专注于大模型高吞吐、低延迟推理，核心解决推理阶段的显存利用率和请求处理效率问题。 一、DeepSpeed 底层原理 DeepSpeed 是微软推出的分布式训练 / 推理框架，核心目标是让 阅读全文
posted @ 2025-12-29 14:46 wangssd 阅读(80) 评论(0) 推荐(0)