艾特玖

摘要： 作业 基础作业： 进阶作业（可选做） 将第四节课训练自我认知小助手模型使用 LMDeploy 量化部署到 OpenXLab 平台。 将quant_output上传到平台中 对internlm-chat-7b模型进行量化，并同时使用KV Cache量化，使用量化后的模型完成API服务的部署，分别对比模 阅读全文

摘要： 环境配置 创建新的conda环境lmdeploy 服务部署 这一部分主要涉及本地推理和部署。我们先看一张图。 我们把从架构上把整个服务流程分成下面几个模块。 模型推理/服务。主要提供模型本身的推理，一般来说可以和具体业务解耦，专注模型推理本身性能的优化。可以以模块、API等多种方式提供。 Clien 阅读全文