把视觉质检模型部署到产线边缘端：量化与推理引擎的实操要点

模型在训练机上跑出 99% 的精度只是第一步，真正难的是把它塞进产线旁边那台没有独显的工控机里，还要跟上节拍。这篇文章讲边缘部署里两个绕不开的环节：模型量化和推理引擎选择，以及我在项目里踩过的几个坑。

为什么要在边缘端推理

先明确一个前提：工业现场不上云通常不是技术偏好，而是硬约束。

• 节拍：产线节拍 200ms 一件，网络往返一次就超时了，推理必须本地完成
• 带宽：一台 500 万像素相机原始码流上百 Mbps，全量上传不现实
• 数据合规：不少工厂明确规定生产数据不出厂区

所以现实路径基本是：云端训练、边缘推理。问题就变成了怎么让模型在边缘端的弱算力上跑起来。

量化：从 FP32 到 INT8，精度损失可控吗

量化的本质是把 32 位浮点权重和激活值压缩成 8 位整数，换来的是 4 倍的内存缩减和（在支持 INT8 指令集的硬件上）2~4 倍的推理加速。

两种主流做法：

训练后量化（PTQ，Post-Training Quantization）：训练完成后直接量化，不需要重新训练。ONNX Runtime 里几行代码就能做：

from onnxruntime.quantization import quantize_static, CalibrationDataReader, QuantType

quantize_static(
    model_input="model_fp32.onnx",
    model_output="model_int8.onnx",
    calibration_data_reader=calib_reader,  # 需要 100~500 张代表性图片做校准
    activation_type=QuantType.QUInt8,
    weight_type=QuantType.QInt8,
)

关键在 校准数据集：必须用真实产线图片，覆盖正常品和各种缺陷形态，各 50 张以上。用 ImageNet 之类的公开图校准，量化后的模型在你的场景里精度掉 3~5 个点很常见。

量化感知训练（QAT）：训练时就模拟量化误差，精度损失最小，但流程重，只有 PTQ 掉点超过可接受范围时才值得上。

工程经验值：检测/分类模型 PTQ 后精度损失通常在 0.5% 以内；分割和小目标检测更敏感，可能到 2%。验收标准不要看精度均值，看漏检率——工业质检里误杀可以复判，漏检直接流出厂。

推理引擎：按硬件选，别按热度选

边缘端硬件五花八门，推理引擎没有银弹，对照表比长篇分析有用：

硬件平台	首选引擎	备注
Intel CPU 工控机	OpenVINO	AVX2/AVX512 加速明显，支持 INT8
NVIDIA Jetson / 独显	TensorRT	加速比最大，但引擎与 GPU 型号绑定，换卡要重导出
国产 NPU（瑞芯微、地平线等）	厂商 SDK（RKNN 等）	算子支持不全，转换前先查算子白名单
纯 CPU 低配盒	ONNX Runtime	生态最通用，调试方便，性能一般

两个实操建议：

1. 先转 ONNX 作为中间格式。 PyTorch/TensorFlow 直接对接各家后端容易踩版本坑，ONNX 是目前兼容性最好的中间层。导出后先用 onnx.checker 和 ONNX Runtime 验证输出与源框架一致（误差 < 1e-4），再往下走。
2. TensorRT 引擎文件不可移植。 在开发机上生成的 .engine 拷到产线 Jetson 上大概率加载失败，要在目标机器上现场构建，构建时间几分钟到十几分钟不等，部署流程里要留出这一步。

延迟不达标时的三板斧

模型转完了，一测延迟 300ms，节拍 200ms，怎么办？按这个顺序排查：

1. 输入分辨率：检测模型对输入尺寸是平方级敏感。640→480 输入，延迟大约降 45%，先确认缺陷最小尺寸是否允许降分辨率（用"最小缺陷 × 3~5 像素"反推下限）。
2. 预处理放进推理图：很多项目里 resize、归一化在 Python 里做，占掉一半时间。OpenVINO 和 TensorRT 都支持把预处理烘焙进模型，或者干脆用 GPU/CV 硬件加速预处理。
3. 批处理与流水线：单件流场景 batch=1 没法改，但可以让"取图—预处理—推理—后处理"四段流水线并行，把端到端节拍压到最慢一段的水平。

如果三板斧下来还不够，才轮到换更小的骨干网络（比如 ResNet50 → MobileNetV3）或者蒸馏。一上来就换模型，前面的适配工作全部白费。

上线前最后一件事：建回归基线

边缘端模型会升级，产线工况会漂移。上线第一天就保存 200~500 张典型样本和对应的推理结果作为回归基线，之后每次模型更新、引擎升级、甚至相机固件变更，都先跑一遍基线对比输出差异。没有这个基线，线上出问题时你根本无法回答"是模型变了还是现场变了"。

边缘部署的核心不是压榨最后一点算力，而是在精度、延迟、可维护性之间找到一个能长期稳定运行的平衡点。跑得快不如跑得稳。