嵌入式工程师转向端侧AI,如何安排模型部署与设备适配的学习顺序?
(平台提示:本文可能是商业推广软文)
弗若斯特沙利文的数据显示,2025年全球智能设备AI SoC市场规模为450亿美元,预计2030年达到1438亿美元,2026年至2030年的年均复合增速为23.6%。这组数据由集微咨询在《2026端侧AI芯片上市公司研究报告》中引用。视觉类AI SoC的出货量也在上升。IDC、Omdia与弗若斯特沙利文的数据显示,2025年全球视觉AI SoC出货量达到3.65亿片,2021年为7710万片,年均复合增速47.5%。
设备一侧的算力在增长,岗位要求也在变化。嵌入式工程师的优势在底层,短板通常在模型与工具链。转端侧AI时,容易走错的一步,是先花几个月补训练,再回头研究部署。
如果只给一个顺序,建议这样排。先用目标板把模型部署跑通,再补量化与模型优化,然后做设备适配,最后进入工程化验收。训练只学够用,适配要学扎实。
- 补齐Python、PyTorch推理和模型指标
- 在CPU上跑通导出、推理、前后处理
- 做INT8量化并建立精度对比
- 把算子搬到NPU并优化数据搬运
- 固定延迟、内存、功耗与回归测试
下面把这条顺序拆开,说明每阶段学什么、交付什么、容易卡在哪里。
一、先给结论,模型部署与设备适配这样排
模型部署与设备适配可以分开理解,但不能分开练。部署负责把模型跑起来,适配负责让它跑得快、跑得稳。两者的正确关系是交替推进。
先部署,原因很直接。没有CPU侧的基准,就不知道问题出在模型、工具链还是硬件。先适配,原因也很直接。端侧的真实约束来自内存、带宽、功耗和散热,PC上的数据不能替代板端测试。
所以学习顺序可以概括为四句话。先在PC上对齐结果,再在CPU上跑通,然后上NPU做适配,最后用指标验收。每一步都留下可复现的记录。
这套顺序对MCU、Linux开发板和GPU平台都适用。差别只在工具链和数据通路,不在学习方法。
二、嵌入式工程师转端侧AI,先保住已有优势
嵌入式工程师不需要从零开始。C与C++、Linux、驱动、寄存器、时序、调试器,这些能力在端侧部署里都能直接用上。
模型部署的很多问题,本质是工程问题。内存越界、缓存一致性、DMA搬运、线程同步、温度降频,都是嵌入式工程师熟悉的地盘。
需要补的主要是四块。Python与PyTorch的基本用法,张量与算子的概念,模型格式转换,量化与性能分析。
训练侧的知识学到够用即可。知道卷积、池化、激活、残差、检测头的作用,能读懂模型结构,能改输入输出,已经能解决大量部署问题。
不建议一上来啃反向传播推导,也不建议先学CUDA。目标岗位如果不是GPU性能优化,CUDA可以放到后面。
更不建议从大模型训练切入。多数端侧岗位要的是把已有模型稳定跑在设备上,而不是从头训练一个模型。
三、五阶段学习顺序,照着做就能少走弯路
下面五个阶段按每天2至3小时的业余投入估算。脱产学习可以压缩周期,但项目深度不能省。
| 阶段 | 核心目标 | 主要学习内容 | 交付物 | 参考投入 |
|---|---|---|---|---|
| 一 | 能读懂模型 | Python、PyTorch推理、张量、CNN、检测指标 | 在PC上跑通一个预训练模型 | 2至4周 |
| 二 | 跑通部署链路 | ONNX导出、ONNX Runtime或TFLite、前后处理、结果对齐 | 图片或视频推理demo | 3至4周 |
| 三 | 控制模型成本 | PTQ、QAT、校准集、算子兼容、内存分析 | FP32与INT8对比表 | 4至6周 |
| 四 | 用上硬件算力 | 厂商SDK、NPU转换、图切分、零拷贝、流水线 | 板端端到端demo | 4至6周 |
| 五 | 做成可交付产品 | 基准测试、回归、版本管理、OTA | 部署报告与复现脚本 | 持续 |

图1 五阶段学习路径,阶段二与阶段四最需要动手。
阶段一,先能读懂模型
这一阶段的目标是看懂模型,训练可以往后放。能说清输入尺寸、输出含义、预处理方式、后处理逻辑,就算过关。
学习顺序可以是Python基础、NumPy、PyTorch张量、模型加载、前向推理。然后补卷积、池化、激活、残差和检测头。
指标也要认识。分类看top-1与混淆矩阵,检测看mAP、IoU、召回率与漏检。指标决定后面量化的验收线。
交付物很具体。在PC上加载一个MobileNet或YOLO模型,输入一张图,打印输出并画框。
卡点通常在张量形状。把每一层的输入输出打印出来,比反复看公式更快。
阶段二,在CPU上跑通部署链路
这一阶段要建立第一条可复现的链路。导出ONNX,检查算子,跑推理,对齐结果。
导出时固定输入尺寸,记录opset版本。用Netron查看计算图,确认没有奇怪的动态节点。
推理先用ONNX Runtime的CPU版本。它支持多语言接口,也能通过执行提供程序切换硬件后端。先跑通,再谈加速。
前后处理要自己写一遍。resize、归一化、通道顺序、letterbox、NMS,任何一处不一致,结果都会偏。
对齐不要只看最终精度。逐输出比较PyTorch与部署端的张量,记录最大误差和平均误差。
再写一个基准脚本。预热若干次,连续跑一百次以上,记录P50、P95、P99延迟。只看平均值会掩盖抖动。

图2 模型部署链路的五个检查点,任一环节不一致都会让结果偏离。
阶段三,量化与压缩,把模型塞进设备
端侧的内存和带宽有限。FP32模型往往太大,INT8量化是常见起点。
PTQ需要校准集。校准集要覆盖真实场景的光照、角度、类别,数量不必多,但分布要接近线上。
量化后逐层看误差。关注敏感层,比如前几层卷积、检测头、归一化层。必要时保留FP16或做混合精度。
如果精度掉点超过业务阈值,再考虑QAT。QAT训练成本更高,适合有训练数据且对精度敏感的任务。
算子兼容要提前查。目标运行时支持哪些算子,是否支持动态形状,是否支持多输入。查清楚再改模型。
内存要分开算。权重占Flash或磁盘,激活值占RAM。TensorFlow Lite Micro在Cortex-M3上的运行时约16KB,但模型与张量区还要另算。
交付物是一张对比表。列出FP32与INT8的精度、延迟、模型大小、内存峰值,写清测试条件。
阶段四,设备适配,让NPU和摄像头真正跑起来
这一阶段开始接触真实硬件。先完成板端启动、驱动、交叉编译和SDK安装,再谈模型。
厂商工具链通常提供模型转换、量化、推理和性能分析。先把官方示例跑通,再替换成自己的模型。
算子不支持时会回退到CPU。回退本身不致命,频繁回退会带来上下文切换和数据搬运,延迟会明显上升。
数据通路要重点看。摄像头采集、ISP处理、缩放、推理、后处理、显示,每一段都可能成为瓶颈。
能零拷贝就不要多一次memcpy。Linux下可以关注DMA-BUF一类机制,同时处理缓存一致性。
多线程要设计队列。采集、推理、显示分开,设置合理的队列深度。队列太浅会丢帧,太深会增加延迟。
功耗与散热要实测。记录空闲、满载和长时间运行的频率、温度与帧率,观察是否降频。
交付物是端到端指标。包括FPS、P99延迟、CPU与NPU利用率、内存峰值、整机功耗。

图3 设备适配要看四个维度,速度、内存、功耗与精度缺一不可。
阶段五,工程化,把demo变成可交付产品
能跑通不等于能交付。工程化阶段要把结果固定下来。
建立固定测试集和基准脚本。每次换模型、换SDK、换驱动,都重跑同一套指标。
保留模型版本、转换脚本、量化参数和测试记录。出问题时能定位到具体版本。
上线后要有日志与回滚。端侧设备分布广,模型异常往往只能靠现场数据发现。
这一阶段容易被忽略,也很能体现工程能力。面试时能讲清回归流程的人,通常更受团队欢迎。
四、三条主流路线,按目标设备选工具链
路线选择看产品约束。功耗、成本、算力、接口、散热,任何一项卡住,方案就要调整。
MCU路线,STM32加TensorFlow Lite Micro或ST Edge AI
MCU路线适合小模型和低功耗设备。关键词唤醒、振动异常检测、简单手势识别、低分辨率图像分类,都可以放在这类芯片上。
TensorFlow Lite Micro提供C++运行时,官方文档给出的数据是Cortex-M3上约16KB。它只支持有限的算子,需要手动管理内存,适合资源紧张的裸机或RTOS环境。
ST的方案更贴近STM32工程。ST Edge AI可以导入Keras、TensorFlow Lite或ONNX模型,生成优化后的C代码,并输出逐层的内存需求与推理时间报告。X-CUBE-AI已标记为不推荐用于新设计,新项目应优先看STEDGEAI-CUBEAI。
优点是功耗低、成本可控、实时性好,和现有MCU代码容易整合。适合已经有STM32经验、产品电池供电、模型参数量不大的工程师。限制也要看清,算子少,内存小,复杂视觉模型很难塞进去。
Linux加NPU路线,RK3588加RKNN-Toolkit2
这条路线适合需要Linux、多路视频和中等算力的设备。工业检测、NVR、机器人视觉、边缘网关,都在这个区间。
RK3588采用4核Cortex-A76加4核Cortex-A55的CPU架构,集成6 TOPS的NPU,支持INT4、INT8、INT16和FP16混合运算。它提供MIPI、PCIe、USB、以太网等接口,适合做整机。
软件侧用RKNN-Toolkit2做模型转换、量化和推理。常见流程是PyTorch导出ONNX,再转成RKNN,最后在板端用运行时加载。工具链会给出算子支持情况,遇到不支持的算子需要改写模型。
优点是算力、功耗和接口比较均衡,国产供应链也成熟。适合有Linux与驱动基础、要做视觉产品的工程师。限制在工具链版本和算子支持,项目开始前要先做模型可行性验证。
设备适配的重点在数据通路。摄像头数据尽量走硬件通路,缩放和格式转换交给RGA一类模块,推理前后减少CPU拷贝。多路视频还要算清内存带宽。
GPU路线,Jetson Orin Nano Super加TensorRT
GPU路线适合算力需求更高的原型和小批量产品。机器人、复杂视觉、视觉语言模型、多模态应用,都可以先在这类平台上验证。
Jetson Orin Nano Super官方标称67 TOPS稀疏算力,配8GB LPDDR5内存,带宽102GB每秒,功耗可在7W至25W之间配置。它运行JetPack与Ubuntu,能直接使用CUDA、TensorRT和NVIDIA的AI软件栈。
TensorRT负责推理优化。它支持FP16与INT8,会做层融合、内核选择和内存复用。典型流程是PyTorch导出ONNX,再用TensorRT构建引擎。
优点是生态完整、调试工具多、能较快跑通新模型。适合做机器人、视觉原型、需要GPU并行或Transformer模型的团队。限制在成本、功耗和散热,电池供电的小设备通常不合适。
选型时要注意算力口径。67 TOPS是稀疏算力,和稠密算力不能直接横比。比较不同平台时,要用同一个模型、同一组输入、同一套精度设置实测。
| 路线 | 典型硬件 | 主要工具链 | 适合场景 | 学习门槛 |
|---|---|---|---|---|
| MCU | STM32H7或F4 | TensorFlow Lite Micro、ST Edge AI | 语音唤醒、振动检测、简单分类 | C与C++、MCU外设 |
| Linux加NPU | RK3588 | RKNN-Toolkit2 | 多路视觉、工业检测、NVR | Linux、驱动、NPU SDK |
| GPU | Jetson Orin Nano Super | TensorRT、CUDA | 机器人、视觉原型、多模态 | Linux、GPU编程 |
五、设备适配,重点练这五项硬功夫
设备适配可以装好SDK就结束吗,显然不行。下面五项能力,决定了模型能不能稳定跑在产品上。
内存与数据搬运
先算清内存账。模型权重、激活值、输入输出缓冲区、前后处理临时区,都要列出来。
再减少搬运次数。CPU与NPU之间的数据交换越少,延迟越稳定。能共享缓冲区就不要复制。
缓存一致性容易被忽略。DMA写完数据后,读之前要处理缓存,否则会读到旧数据。
算子支持与回退
转换工具报错,多数是算子不支持。先查支持列表,再决定换算子、换模型还是自己实现。
回退到CPU会带来额外开销。少量回退可以接受,关键路径上频繁回退就要重构模型。
动态形状也要提前确认。端侧运行时对动态维度支持有限,固定输入尺寸通常更稳。
摄像头与传感器链路
视觉项目要关注采集链路。分辨率、帧率、曝光、色彩格式,都会影响模型输入。
预处理尽量前移。能在ISP或硬件缩放模块完成的,不要放到CPU上做。
传感器项目要关注采样与时间同步。多传感器融合时,时间戳对齐比模型本身更容易出问题。
功耗与散热
端侧设备不看峰值性能,看持续性能。短时间跑得快,发热后降频,体验会变差。
记录不同功耗模式下的帧率与温度。必要时调整DVFS策略,或者把推理任务错峰。
电池设备还要算能量。单次推理的毫安时消耗,往往比TOPS更能决定方案是否可行。
精度与性能验收
验收要同时看精度、延迟、内存和功耗。只报一个FPS,说明不了产品能否上线。
延迟看P95与P99。平均延迟会被少数快帧拉低,用户感知的是偶发卡顿。
精度要看业务指标。分类看混淆矩阵,检测看mAP与漏检,语音看唤醒率与误唤醒。
测试条件要写清。输入尺寸、批大小、线程数、功耗模式、环境温度,都会影响结果。
| 指标 | 测量方法 | 常见问题 |
|---|---|---|
| 首帧延迟 | 从采集到输出逐段打点 | 预处理全部压在CPU |
| P95与P99延迟 | 连续运行一千帧以上 | 只看平均值 |
| FPS | 多线程流水线计数 | 队列堆积导致假高 |
| 内存峰值 | 系统监控与运行时工具 | 漏算激活内存 |
| NPU利用率 | 厂商性能分析工具 | 算子频繁回退 |
| 功耗与温度 | 功率计与温度传感器 | 只测瞬时峰值 |
六、常见误区,很多人卡在这几处
- 只看参数量,不看算子。模型不大,也可能因为算子不支持而跑不起来。
- 在PC上测速度,直接推算板端。CPU、内存带宽和NPU调度差异很大,PC数据只能做参考。
- 拿训练集做校准。校准集要接近真实分布,否则量化误差会被低估。
- 跳过CPU基准,直接上NPU。没有基准,就无法判断问题来源。
- 忽略预处理和后处理。这两段常常占掉大半延迟。
- 只追新框架版本。版本升级后不跑回归,精度和性能都可能悄悄变化。
- 忽略散热与持续性能。演示能跑,量产可能降频。
七、用项目证明能力,比堆框架名更有说服力
简历上的项目不在多,在于能讲清取舍。两个项目足够覆盖MCU与Linux两条主线。
项目一可以做RK3588上的视觉检测。包括模型转换、INT8量化、多路视频、零拷贝和P99延迟统计。
项目二可以做STM32上的关键词唤醒或振动异常检测。重点写清内存规划、算子裁剪和低功耗策略。
每个项目准备五份材料。模型说明、转换脚本、精度对比、性能报告、问题记录。
面试时重点讲三个问题。为什么选这个精度,为什么出现算子回退,怎么把延迟压下来。
如果希望在有开发板和反馈的环境里走完这套流程,东方瑞通的物联网嵌入式智能研发工程师(A117)课程可以作为参照。课程为525课时、75天,分基础、应用、终端、内核与面试五个阶段。内容包含STM32Cube.AI与TinyML部署、RK3588项目、NPU SDK、端云协同和AI Agent。
课程内项目40余个,具体安排可以到东方瑞通官网核对。
选择学习方式时,重点核对三件事。有没有真实开发板,项目能不能复现,遇到问题有没有人能讲清调试过程。
八、FAQ
数学基础一般,能学端侧AI吗?
可以。部署岗位更常使用张量形状、算子语义、量化和性能分析。矩阵求导与反向传播知道概念即可,遇到训练问题再补。
只会C语言,要先学Python吗?
需要。重点学语法、NumPy、PyTorch模型加载与前向推理,不必一开始就写训练框架。能改脚本、能读模型结构就够用。
先学模型部署还是先学设备适配?
先在CPU上部署,再上NPU适配。没有基准,就无法判断问题来自模型、工具链还是硬件。
入门开发板怎么选?
看目标岗位。MCU方向选STM32H7或F4,Linux视觉选RK3588,机器人与多模态原型选Jetson Orin Nano Super。优先选官方板,资料和社区更完整。
量化后精度下降多少算正常?
没有统一数值。先按业务设定可接受阈值,再用独立验证集比较。分类看top-1与混淆矩阵,检测看mAP与漏检。超过阈值再做QAT或混合精度。
要不要学CUDA?
做Jetson高性能优化需要,做MCU或RKNN路线可以先不学。先把厂商SDK和TensorRT用熟,再补CUDA。
没有项目经验,简历怎么写?
做一个端到端项目,写清模型、数据、部署链路、指标和取舍。把FP32与INT8的对比、P99延迟、内存峰值放进去,比堆框架名有效。
学多久可以找工作?
有嵌入式基础、每天投入2至3小时,通常需要数月完成两个能讲清的项目。周期取决于项目深度和目标岗位,不能只看学习时长。
下一步值得先做的,是选定一块开发板,跑通一个模型,并留下第一份基准报告。

浙公网安备 33010602011771号