记录 safetensors 加密(tensorizer)

在前面的 离线部署方案 方案中，使用 tensorizer 库进行加密，并可以结合 vLLM 在推理加载模型时实现解密。可以针对模型权重进行初阶的保护（没法防止直接从硬件中 dump 出数据来）

安装环境

pip install vllm[tensorizer]

加密脚本

源码：tensorize_vllm_model.py

调用脚本：

python tensorize_vllm_model.py \
   --model /data/ycd/afsim-coder-30b-awq/ \
   serialize \
   --serialized-directory /data/ycd/afsim-coder-30b-awq_serialized/ \
   --suffix v1 --keyfile /data/ycd/afsim-coder-30b-awq-keyfile