kimi-audio部署

kimi-audio部署需要的环境相对比较简单
git clone https://github.com/MoonshotAI/Kimi-Audio
git clone https://github.com/THUDM/GLM-4-Voice

cp -r GLM-4-Voice/* Kimi-Audio/kimia_infer/models/tokenizer/glm4/
cd Kimi-Audio

构建镜像或者直接下载镜像
docker build -t kimi-audio:v1 .
下载地址
docker pull moonshotai/kimi-audio
下载model
pip install huggingface_hub
huggingface-cli login
huggingface-cli download moonshotai/Kimi-Audio-7B-Instruct --local-dir ./moonshotai/Kimi-Audio-7B-Instruct

启动docker容器
docker run -it -v d:/code/Kimi-Audio:/app kimi-audio bash
windows启动需要配置些东西
（windows需要加参数--gpus all ，这一步需要cuda版本是12.8及以上，不够就升级，然后修改docker engine增加配置）
docker engine 增加的配置为：
"runtimes":
"nvidia": {
"args": [],
"path": "nvidia-container-runtime"
}
}
docker run --gpus all -it -v d:/code/Kimi-Audio:/app kimi-audio bash

启动后执行
python infer.py
等待结果
测试显存占用为19G，需要24G及以上的显卡才能跑的起来，否则会报错或者被kill

ubuntu版本
安装docker
curl -fsSL https://get.docker.com | sudo sh
docker --version
安装cuda
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i cuda-keyring_1.1-1_all.deb
apt update
apt -y install nvidia-cuda-toolkit
apt -y install cuda-toolkit-12-8
apt -y install nvidia-driver-570 nvidia-utils-570
查看cuda版本，需要12.8以上
nvcc --version
nvidia-smi

安装NVIDIA docker toolkit
apt -y install nvidia-container-toolkit
nvidia-ctk runtime configure --runtime=docker
systemctl restart docker
docker run --gpus all -it -v /opt/Kimi-Audio:/app -p 8080:8080 crpi-3k2gf5bj6v9uli1p.cn-beijing.personal.cr.aliyuncs.com/wangpengfei_yxt/mirror:v1 bash

下载model
pip install huggingface_hub
huggingface-cli login
huggingface-cli download moonshotai/Kimi-Audio-7B-Instruct --local-dir ./moonshotai/Kimi-Audio-7B-Instruct

启动后执行
cd app && python infer.py
等待结果