CD Yang

摘要： 在前面的 离线部署方案 方案中，使用 tensorizer 库进行加密，并可以结合 vLLM 在推理加载模型时实现解密。可以针对模型权重进行初阶的保护（没法防止直接从硬件中 dump 出数据来） 安装环境 pip install vllm[tensorizer] 加密脚本 源码：tensorize_ 阅读全文