浦语书生大模型实战训练营05笔记和作业

1. 配置：使用 vgpu-smi  查看显卡资源使用情况。

   

    复制共享环境：

   conda create -n CONDA_ENV_NAME --clone /share/conda_envs/internlm-base

   

    

   

    

2. 部署服务原理

　　3.模型转换　　

　　在线转换：在线读取hugging face 模型

 　　离线转换：

 　　推理：

　　lmdeploy chat turbomind ./workspace

 

        

 　　优点与对比:

 

       

 

 基础作业：