wangssd

摘要： Ray 和 vLLM 介绍 如果需要把一个大模型用多卡 / 多机跑起来，追求推理性能：直接用 vLLM 自身的 MPI 多机部署。 如果需要管理多个模型服务、动态扩缩容、统一调度多机资源、构建复杂分布式推理系统：需要用 Ray 封装 vLLM，借助 Ray 的分布式能力提升系统的灵活性和可扩展性。 阅读全文

摘要： Skills 标志着AI应用从对话交互向任务执行的关键跃迁。 Agent Skills旨在解决通用AI只懂道理却不会干活的核心痛点 传统大模型虽能生成代码或文本，但缺乏对特定组织框架、业务流程和品牌规范的深层理解。 Agent Skills 把特定领域的操作指南、工具脚本、参考资料打包成文件夹，让大 阅读全文