littlesuccess

摘要： 1、大模型部署的背景 a、大模型部署的挑战 对设备的要求：存储大 推理：生成token的速度、动态shape、内存管理 服务：高并发下的吞吐量、单用户的响应时间 b、技术方案： 模型并行、量化 Transfomer优化、推理优化 2、LMDeploy介绍 a、是在N卡上的全流程方案，包括轻量化、推理 阅读全文

摘要： 基础作业： 构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称！ 微调前（回答比较官方） 微调后（对自己的身份有了清晰的认知） 作业过程如下 1、准备工作： 阅读全文