security-hyacinth

摘要： 作者：HOS(安全风信子) 日期：2026-01-21 来源平台：GitHub 摘要： 本文深入剖析了vLLM API Server的架构设计与实现细节，包括REST/gRPC双协议支持、OpenAI API兼容性、认证授权机制、负载均衡策略和Docker部署方案。通过Mermaid图表和代码示例， 阅读全文

摘要： 作者：HOS(安全风信子) 日期：2026-01-19 来源平台：GitHub 摘要： 本文深入剖析vLLM Async Engine的设计原理与实现细节，揭示其如何通过异步编程模型、协程调度和高效IO管理实现高并发推理服务。从Aiohttp集成到协程调度器，从背压处理到异步模型加载，全面覆盖异步引 阅读全文

摘要： 作者：HOS(安全风信子) 日期：2026-01-19 来源平台：GitHub 摘要： 本文深入探讨vLLM框架中多进程与多线程的并发实现方案，通过分析两种并发模型的设计原理、实现细节、性能特征以及适用场景，结合真实源码示例和性能测试数据，揭示vLLM如何在不同场景下选择最优的并发策略。文章还对比了 阅读全文

摘要： 作者：HOS(安全风信子) 日期：2026-01-19 来源平台：GitHub 摘要： 本文深入剖析Ray在vLLM框架中的核心角色，作为分布式推理的强力引擎，Ray为vLLM提供了高效的Actor通信、智能资源调度、故障容错和动态扩缩容能力。通过分析Ray与vLLM的深度集成机制、Ray Acto 阅读全文

摘要： 作者：HOS(安全风信子) 日期：2026-01-19 来源平台：GitHub 摘要： 本文深入剖析vLLM框架中的Worker / Driver架构，作为分布式推理的核心，它实现了高效的任务协调与执行机制。通过分析Driver的协调逻辑、Worker的执行流程、Ray Actor通信机制以及故障恢 阅读全文

摘要： 作者：HOS(安全风信子) 日期：2026-01-19 来源平台：GitHub 摘要： 本文深入剖析vLLM框架中的ModelRunner组件，作为模型执行的核心，它负责处理模型的前向传播、Torch集成、编译优化等关键功能。通过分析ModelRunner的设计架构、实现原理和优化策略，结合真实源码 阅读全文

摘要： 作者： HOS(安全风信子) 日期： 2026-01-29 主要来源平台： GitHub 摘要： 当AI Skills成为行业热点，我们需要冷静审视其本质：它不过是套皮的Agent Prompt，无实质性技术进展。Skill的流行反映了大部分用户缺乏系统化、程序化思维，催生了一场技术包装的盛宴。本文 阅读全文

摘要： 作者：HOS(安全风信子) 日期：2026-01-27 来源平台：GitHub 摘要： Prompt Engineering 正从简单的文本提示演变为复杂的系统设计。本文探讨了 JSON 与 Markdown 两种 Prompt 格式的本质差异，提出了从"格式选择"到"系统设计"的认知转变，并构建了 阅读全文

摘要： 作者：HOS(安全风信子) 日期：2026-01-27 来源平台：GitHub 摘要： 本文深入探讨了 Prompt 工程中的格式选择问题，从简单的「JSON vs Markdown」对比上升到「理性 × 感性」的系统设计高度。通过分析两种格式的本质差异、适用场景以及混合结构的优势，本文提出了「对人 阅读全文

摘要： 作者：HOS(安全风信子) 日期：2026-01-19 来源平台：GitHub 摘要： 本文深入剖析vLLM框架的启动流程，从配置加载到Worker初始化的完整过程，重点探讨核心函数__init__的实现细节、启动参数调优策略和常见错误处理机制。通过分析vLLM如何实现配置解析、模型加载、分布式Wo 阅读全文