LMDeploy量化部署LLM&VLM

LMDeploy简介
LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案，提供以下核心功能：

高效的推理：LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算 kernel等重要特性。推理性能是 vLLM 的 1.8 倍

可靠的量化：LMDeploy 支持权重量化和 k/v 量化。4bit 模型推理效率是 FP16 下的 2.4 倍。量化模型的可靠性已通过 OpenCompass 评测得到充分验证。

便捷的服务：通过请求分发服务，LMDeploy 支持多模型在多机、多卡上的推理服务。

有状态推理：通过缓存多轮对话过程中 attention 的 k/v，记住对话历史，从而避免重复处理历史会话。显著提升长文本多轮对话场景中的效率。

LMDeploy 支持 2 种推理引擎： TurboMind 和 PyTorch，它们侧重不同。前者追求推理性能的极致优化，后者纯用python开发，着重降低开发者的门槛。

TurboMind是LMDeploy团队开发的一款关于LLM推理的高效推理引擎，它的主要功能包括：LLaMa 结构模型的支持，continuous batch 推理模式和可扩展的 KV 缓存管理器。TurboMind推理引擎仅支持推理TurboMind格式的模型。因此，TurboMind在推理HF格式的模型时，会首先自动将HF格式模型转换为TurboMind格式的模型。该过程在新版本的LMDeploy中是自动进行的，无需用户操作。

配置环境
创建并激活虚拟环境

conda create -n lmdeploy -y python=3.10
conda activate lmdeploy
1
2
安装LMDeploy

pip install lmdeploy[all]==0.3.0
1

下载模型
本文以InternLM2-Chat-1.8B模型为例，从OpenXLab平台下载模型。

git clone https://code.openxlab.org.cn/OpenLMLab/internlm2-chat-1.8b.git
1
我这里已经下载好了，直接软链接过来

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/models/
1
使用LMDeploy与模型对话
使用LMDeploy与模型进行命令行对话的通用命令格式为：

lmdeploy chat [HF格式模型路径/TurboMind格式模型路径]
1
我这里执行下面的命令

lmdeploy chat /root/models/internlm2-chat-1_8b
1
命令行对话效果如下图所示。

LMDeploy模型量化
量化是一种以参数或计算中间结果精度下降换空间节省（以及同时带来的性能提升）的策略，可以优化 LLM 模型推理中的访存密集问题。主要包括 KV8量化和W4A16量化。KV8量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。W4A16 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。Weight Only 是指仅量化权重，数值计算依然采用 FP16（需要将 INT4 权重反量化）。

KV Cache
KV Cache是一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗的目的。在大规模训练和推理中，KV Cache可以显著减少重复计算量，从而提升模型的推理速度。理想情况下，KV Cache全部存储于显存，以加快访存速度。当显存空间不足时，也可以将KV Cache放在内存，通过缓存管理器控制将当前需要使用的数据放入显存。

模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、KV Cache占用的显存，以及中间运算结果占用的显存。LMDeploy的KV Cache管理器可以通过设置–cache-max-entry-count参数，控制KV缓存占用剩余显存的最大比例。默认的比例为0.8。
下面通过几个例子，来看调整–cache-max-entry-count参数的效果。首先保持不加该参数（默认0.8），运行1.8B模型。

lmdeploy chat /root/models/internlm2-chat-1_8b
1
查看资源监视器中的显存占用情况。此时显存占用为7856MB。

改变–cache-max-entry-count参数，设为0.4。

lmdeploy chat /root/models/internlm2-chat-1_8b --cache-max-entry-count 0.4
1
查看资源监视器中的显存占用情况。此时显存占用为6152MB。

W4A16量化
LMDeploy使用AWQ算法，实现模型4bit权重量化。推理引擎TurboMind提供了非常高效的4bit推理cuda kernel，性能是FP16的2.4倍以上。
首先安装一个依赖库。

pip install einops==0.7.0
1
执行下面的命令，就可以完成模型量化工作。

lmdeploy lite auto_awq \
/root/models/internlm2-chat-1_8b \
--calib-dataset 'ptb' \
--calib-samples 128 \
--calib-seqlen 1024 \
--w-bits 4 \
--w-group-size 128 \
--work-dir /root/internlm2-chat-1_8b-4bit
1
2
3
4
5
6
7
8
量化工作结束后，新的HF模型被保存到internlm2-chat-1_8b-4bit目录。输入下面命令使用Chat功能运行W4A16量化后的模型。

lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq
1
LMDeploy提供API服务
在生产环境下，会将大模型封装为API接口服务，供客户端访问。架构图如下所示：

启动API服务器
通过以下命令以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，推理internlm2-chat-1_8b-4bit模型：

lmdeploy serve api_server \
/root/internlm2-chat-1_8b-4bit \
--model-format awq \
--quant-policy 1 \
--cache-max-entry-count 0.4
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1
1
2
3
4
5
6
7
8
server-name和server-port表示API服务器的服务IP与服务端口；tp参数表示并行数量（GPU数量）。
通过运行以上指令，我们成功启动了API服务器，请勿关闭该窗口，后面我们要新建客户端连接该服务。

命令行客户端连接API服务器
在新的终端中激活conda环境。

conda activate lmdeploy
1
运行命令行客户端：

lmdeploy serve api_client http://localhost:23333
1
运行后，可以通过命令行窗口直接与模型对话：

网页客户端连接API服务器
使用Gradio作为前端，启动网页客户端。

lmdeploy serve gradio http://localhost:23333 \
--server-name 0.0.0.0 \
--server-port 6006
1
2
3
运行命令后，网页客户端启动。打开浏览器，访问地址http://127.0.0.1:6006

Python代码集成
将大模型推理集成到Python代码里面。下面使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。
新建Python源代码文件pipeline.py。填入以下内容。

from lmdeploy import pipeline

pipe = pipeline('/root/internlm2-chat-1_8b')
response = pipe(['Hi, pls intro yourself', '上海是'])
print(response)
1
2
3
4
5
保存后运行代码文件

python /root/pipeline.py
1
在Python代码中，可以通过创建TurbomindEngineConfig，向lmdeploy传递参数。实现模型的量化推理，及设置KV Cache最大占用比例。
将pipeline.py的内容替换成下面：

from lmdeploy import pipeline, TurbomindEngineConfig

# 调低 k/v cache内存占比调整为总显存的 40%
backend_config = TurbomindEngineConfig(cache_max_entry_count=0.4, model_format="awq")

pipe = pipeline('/root/internlm2-chat-1_8b-4bit',
backend_config=backend_config)
response = pipe(['Hi, pls intro yourself', '上海是'])
print(response)
1
2
3
4
5
6
7
8
9
保存后运行python代码：

python /root/pipeline_kv.py
1
使用LMDeploy运行视觉多模态大模型llava
最新版本的LMDeploy支持了llava多模态模型，下面演示使用pipeline推理llava-v1.6-7b。
安装llava依赖库。

pip install git+https://github.com/haotian-liu/LLaVA.git@4e2277a060da264c4f21b364c867cc622c945874
1
新建一个python文件，比如pipeline_llava.py。填入以下内容：

from lmdeploy.vl import load_image
from lmdeploy import pipeline, TurbomindEngineConfig

backend_config = TurbomindEngineConfig(session_len=8192) # 图片分辨率较高时请调高session_len
pipe = pipeline('/share/new_models/liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config)

image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
response = pipe(('describe this image', image))
print(response)
1
2
3
4
5
6
7
8
9
10
保存后运行pipeline_llava.py

python /root/pipeline_llava.py
1

通过Gradio来运行llava模型。新建python文件gradio_llava.py，填入以下内容：

import gradio as gr
from lmdeploy import pipeline, TurbomindEngineConfig

backend_config = TurbomindEngineConfig(session_len=8192) # 图片分辨率较高时请调高session_len
# pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config) 非开发机运行此命令
pipe = pipeline('/share/new_models/liuhaotian/llava-v1.6-vicuna-7b', backend_config=backend_config)

def model(image, text):
if image is None:
return [(text, "请上传一张图片。")]
else:
response = pipe((text, image)).text
return [(text, response)]

demo = gr.Interface(fn=model, inputs=[gr.Image(type="pil"), gr.Textbox()], outputs=gr.Chatbot())
demo.launch()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
运行python程序。

python /root/gradio_llava.py
1

作业

配置 LMDeploy 运行环境

以命令行方式与 InternLM2-Chat-1.8B 模型对话。

设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。此时显存占用 4936MB。

 

以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。

命令行客户端

Gradio 网页客户端

使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。

from lmdeploy import pipeline, TurbomindEngineConfig

# 调低 k/v cache内存占比调整为总显存的 40%
backend_config = TurbomindEngineConfig(cache_max_entry_count=0.4, model_format="awq")

pipe = pipeline('/root/internlm2-chat-1_8b-4bit',
backend_config=backend_config)
response = pipe(['Hi, pls intro yourself', '上海是'])
print(response)
1
2
3
4
5
6
7
8
9

6. 使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。

7. 将 LMDeploy Web Demo 部署到 OpenXLab 。
————————————————

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/weixin_45924641/article/details/137925301