2025年2月14日
第四期书生大模型实战营【进阶岛】—— LMDeploy 量化部署进阶实践
摘要： LMDeploy 量化部署进阶实践 任务描述InternLM2.5 量化与部署环境配置LMDeploy API部署InternLM2.5启动API服务器，部署InternLM2.5模型。以命令行形式连接API服务器以Gradio网页形式连接API服务器 量化部署KV Cache 缓存KV Cache 阅读全文
posted @ 2025-02-14 00:21 。。。714 阅读(83) 评论(0) 推荐(0)