2023年11月3日
大模型部署加速
摘要： 大模型部署加速 https://zhuanlan.zhihu.com/p/659571962 https://github.com/internlm/lmdeploy https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/kv_int8. 阅读全文
posted @ 2023-11-03 15:41 michaelchengjl 阅读(64) 评论(0) 推荐(0) 编辑
vLLM 部署大模型
摘要： vLLM 部署大模型 https://github.com/vllm-project/vllm/tree/v0.2.0 https://vllm.readthedocs.io/en/latest/getting_started/installation.html https://vllm.readt 阅读全文
posted @ 2023-11-03 15:30 michaelchengjl 阅读(666) 评论(0) 推荐(0) 编辑
LLM推理优化
摘要： LLM推理优化 https://blog.csdn.net/LF_AI/article/details/133054474?spm=1001.2014.3001.5502 阅读全文
posted @ 2023-11-03 15:27 michaelchengjl 阅读(15) 评论(0) 推荐(0) 编辑