传统嵌入式与AI嵌入式如何协同?从设备控制到端侧推理对照技术任务
传统嵌入式与AI嵌入式的协同,落到工程上是一句话:让确定性的控制任务留在实时路径里,让依赖模式判断的推理任务在独立资源上运行,再把推理结果以受控方式送回控制层。
不少项目卡住的地方是任务放错位置,模型精度反而排在后面。把推理塞进控制中断,控制环会抖动;把控制交给 Linux 应用,实时性又不够。下面从任务、架构、部署和验证四个层面拆开,帮助读者画出一张适合自己项目的分工图。
一、传统嵌入式与AI嵌入式,差别在哪里
传统嵌入式系统以 MCU 这类微控制器、RTOS 这类实时操作系统、外设和控制环为核心。它把传感器数据采回来,按固定周期执行控制逻辑,再通过 PWM、GPIO、通信接口驱动外部设备。
AI嵌入式是在这套硬件和软件基础上,增加模型训练后的部署、推理和结果处理能力。它让设备在本地识别声音、振动、图像或姿态,输出分类、异常标志或预测值。AI嵌入式没有统一的行业定义,这里指在嵌入式设备上增加模型部署与推理能力的做法。
两者共享同一组约束:Flash、RAM、功耗、成本、温度、可靠性。控制任务要求可预测,推理任务处理难以写成固定规则的信号。
1.1 传统嵌入式的核心任务:把确定动作稳定执行
MCU 内部集成 CPU、存储器、定时器、ADC、PWM 和通信外设。RTOS 负责按优先级调度任务,中断负责响应外部事件。
硬实时的关键在于每次都能在截止时间内完成,平均速度快并不够。电机控制、电源管理、安全联锁都依赖这种可预测性。
1.2 AI嵌入式新增的核心任务:把复杂信号变成判断
声音、振动、图像这类信号受环境噪声、安装位置、负载变化影响,固定阈值往往不够用。模型可以从样本中学习模式,输出正常、异常或具体类别。
训练通常在 PC 或云端完成,设备端只做推理。关键词唤醒、振动异常检测、简单视觉分类都属于常见任务。
1.3 两者的共同底线:资源、时延、可靠性
AI嵌入式没有脱离嵌入式的基本约束。模型大小、推理时延、内存峰值、功耗都要落进预算。
控制层的安全责任也不能交给模型输出。AI 适合做判断,控制层负责动作。
二、一张表看清:从设备控制到端侧推理的任务分工
把两类任务放进同一张表,很多争论会变得具体。表中的 NPU 指神经网络处理单元,MPU 指微处理器,SoC 指片上系统。

2.1 控制环要的是确定性,推理要的是概率判断
控制环的输出必须可解释、可复现。给定同样的输入,执行器应该在同样的时间做出同样的动作。
模型输出是概率或分数,受样本分布和现场噪声影响。它适合回答“像不像异常”“属于哪一类”,不适合单独决定“现在给多少电流”。
2.2 AI结果怎样进入控制环
常见做法有三种:
- 把模型输出作为设定点建议,由控制层限幅、滤波和校验后再执行。
- 把分类或异常标志送进状态机,触发降速、报警、复检或停机。
- 把预测结果用于参数调整,让控制层提前响应负载变化。
三种做法都保留了控制层的最终决定权。AI 输出适合做建议、分类和异常标志,控制层负责最终动作。 直接把模型输出接到 PWM 占空比,风险很高。
2.3 哪些任务不该交给AI
安全联锁、硬实时电流环、计量结算、故障保护适合留在规则和 RTOS 路径。
这些任务的共同点是后果明确、边界清楚、需要可验证。模型可以参与监测,最终动作仍由确定性逻辑执行。
三、三种协同架构:从单芯片到端云
任务分工确定后,下一步是选承载方式。常见有三种,复杂度和适用场景不同。先看任务时限和资源预算,再决定把推理放在哪一层。
3.1 MCU + NPU:把推理放进控制芯片
同一颗 MCU 里,CPU 跑控制,NPU 跑推理。NPU 独立执行神经网络计算,减少对 CPU 的占用。
TI 在 2026 年 3 月的新闻稿中给出了数据。TinyEngine NPU 与主 CPU 并行工作。相比未配备加速器的同类 MCU,单次推理延迟最多降低 90 倍,单次推理能耗降低超过 120 倍。这是厂商在特定测试条件下的结果,项目里仍要按自己的模型复测。
这类方案适合小模型、低功耗、长期在线的场景,例如关键词唤醒、振动异常检测、简单视觉分类。
限制也很清楚:模型参数量受 SRAM 和 Flash 约束,算子支持取决于工具链,内存带宽可能先成为瓶颈。
3.2 MCU + MPU/SoC:双脑分工
MPU 或 SoC 跑 Linux、视觉模型和多模态应用。MCU 或 M 核跑 RTOS 实时控制。两颗核各管一段,通过共享内存和消息机制交换数据。
瑞萨 RZ/G2L 是一个可查的例子。双核 Cortex-A55 1.2GHz 运行 Linux。单核 Cortex-M33 200MHz 运行 RTOS 或裸机程序。核间通信使用 OpenAMP,数据通过共享内存传输,RPMsg 负责消息传递。
这类架构适合视觉质检、机器人、带屏交互和复杂多传感器融合。
代价是核间通信延迟、内存映射、启动顺序和功耗管理都更复杂。两个核同时访问共享内存时,还要处理数据一致性。
3.3 端云协同:端侧初筛,云端训练与复杂分析
端侧负责第一层判断,云端负责模型训练、跨设备趋势分析和复杂诊断。
Arm 在 2026 年 10 月的一篇技术文章里把云和边缘描述为一个连续的分布式计算体系,开发者需要决定哪些任务在本地运行、哪些交给云端。这个判断同样适用于嵌入式 AI 项目。
网络不稳定、数据敏感、需要离线响应的设备,适合把推理放在端侧。模型迭代、长周期数据分析和多设备管理,仍然适合放在云端。
端云协同要处理数据脱敏、模型远程更新、断网回退和云端依赖。设备不能因为网络中断就失去基本判断能力。
四、从传感器到执行器:一条可落地的协同流程
下面这条流程适合大多数设备端 AI 项目,可以按项目规模裁剪。
- 任务拆分:列出控制任务、推理任务和监管任务,标注截止时间、输入输出和失败后果。
- 数据链路:确定采样率、滤波、归一化和滑窗方式,训练端与板端的预处理保持一致。
- 模型训练与压缩:选择轻量模型,按需使用量化、剪枝和知识蒸馏,留出现场数据做验证。
- 模型转换与部署:转成 TFLite、ONNX 或厂商格式,生成 C 代码或 NPU 模型,确认算子支持。
- 任务编排:控制任务保持优先,推理放在低优先级线程或独立核,使用共享内存、消息队列和双缓冲。
- 异常回退:模型超时、置信度低或输入异常时切回规则,保留看门狗和心跳检测。
- 验证与迭代:测最坏时延、抖动、内存峰值、功耗和精度,收集现场样本,灰度更新模型。
4.1 通信与同步:别让数据传输出问题
共享内存适合传图像、波形这类大数据块,消息队列适合传命令和状态。读写双方要用双缓冲、信号量或硬件信号量,避免读到半更新数据。
时间戳要对齐。推理结果晚到几帧,可能已经错过控制窗口。
4.2 资源预算:先算内存,再算算力
模型权重、激活值和中间缓冲区都占 RAM。NPU 算力再高,数据搬不进来也只能等。
ST 在 2026 年 10 月的一篇技术文章中提到,Cortex-M 内核用软件方式执行 AI,实际可达的能效大约在每瓦 0.1 万亿次运算量级。集成 NPU 后,能效和算力密度会提升。这个对比说明,评估平台时要看每瓦性能、内存带宽和最坏时延,单看 TOPS 这类算力指标不够。TOPS 指每秒万亿次运算,适合做粗筛,不能替代实测。
4.3 上线前检查表
至少测五项:
- 控制环的最坏执行时间和抖动。
- 推理的最坏时延和超时率。
- 模型运行时的内存峰值,留出余量。
- 整机功耗和温升,覆盖长时间运行。
- 断网、模型异常、传感器故障时的回退路径。
五、怎么选:四个判断问题
选型不需要一开始就追求高算力,先回答四个问题。选型先看任务时限和内存预算,再看算力。
- 任务能否用稳定规则解决?能,就先用 MCU 加规则;规则越写越像补丁,再考虑模型。
- 模型能否放进目标平台?看 Flash、RAM、算子支持和工具链。
- 延迟窗口有多紧?控制环内的任务留给 MCU 和 RTOS,非控制路径的推理可以放到 MPU 或 NPU。
- 数据是否敏感、网络是否稳定?需要离线响应和数据不出域,优先端侧;需要跨设备分析,保留云端。
把常见场景放进一张表,选型会更直观。

这张表给的是起点,不是固定答案。实际选型要结合模型大小、成本、功耗和团队能力。
如果项目同时涉及控制和视觉,优先考虑双核或双芯片。如果只是关键词唤醒、简单异常检测,MCU 加 NPU 更合适。选型没有统一答案,边界由任务时限、数据量和成本共同决定。
六、常见误区
- 只看 TOPS,不看内存带宽和能效。算力高不代表模型跑得快。
- 把模型塞进硬实时控制环。推理一抖动,控制就受影响。
- 量化后只看桌面精度,不做现场验证。现场噪声和样本分布会改变结果。
- 忽略数据漂移。设备换了安装位置、负载或环境,模型可能需要重新标定。
- 以为端侧 AI 不需要云端。训练、趋势分析和多设备管理仍然依赖云端。
- 忽略模型和固件的版本管理。模型更新后,接口、预处理和后处理都可能要同步改。
先让控制环不被推理打断,再谈模型精度。
七、工程师要补的能力:从会控制到会部署
协同能力最终落在人身上。只会写控制逻辑,或者只会训练模型,都很难把设备端 AI 做成产品。
传统基本功仍然重要:C/C++、MCU 外设、RTOS 调度、中断、DMA、低功耗和硬件调试。
新增能力集中在部署侧:Python 和 PyTorch 基础、模型转换、量化、推理运行时、NPU SDK、性能分析(profiling)。
再往上,是系统能力:任务拆分、数据链路设计、最坏时延分析、软硬件联调。
学习路径可以从一个完整的小项目开始:采集振动或声音数据,训练一个小模型,量化后部署到 MCU,把输出接入状态机,再测时延和功耗。跑通一次,很多概念会变得具体。TinyML 就是这类在 MCU 上运行轻量模型的做法,适合作为入口。
东方瑞通从 1998 年开始做 IT 培训,其 AI嵌入式就业护航班面向零基础或想转方向的学习者,课程内容覆盖 C 语言、Linux、ARM、FreeRTOS/RT-Thread、Linux 驱动、NPU SDK、端云协同和 RK3588 边缘 AI 开发板等。课程线较多,具体班型、课时和开班安排需要向官方确认。
7.1 学习前常问的几个问题
零基础能学吗?
课程从 C 语言和 Linux 基础开始,适合零基础学员。能否跟上,还要看每周投入和动手练习的时间。
学习周期怎么判断?
看总课时、每周排课天数和每天课时数。脱产学习和业余学习的节奏不同,报名前先确认自己的时间安排。
费用和退费怎么确认?
费用、优惠和退费政策以官方最新说明为准,报名前把班型、课时和退费规则问清楚。
课程对就业有什么帮助?
课程提供项目实战和就业辅导,就业结果取决于个人基础、项目完成度和市场情况。
把控制、推理和云端分析放在合适的位置,传统嵌入式与AI嵌入式的协同就有了一张可执行的图。先画任务链,再选平台,再用最坏时延和现场数据验证,项目会稳很多。
八、常见问题
传统嵌入式会被AI嵌入式取代吗?
不会整体取代。控制、驱动、电源和安全任务仍然需要确定性能力,AI嵌入式增加的是感知和判断层。两者在同一设备里分工,岗位能力会融合。
MCU真的能跑AI模型吗?
能跑轻量模型。关键词唤醒、振动异常检测、简单视觉分类都可以在 MCU 上做。模型大小、算子支持和内存是限制,复杂视觉或多模态通常需要 MPU 或 SoC。
端侧推理一定比云端推理快吗?
不一定。端侧少了网络往返,响应更稳定,但算力和内存有限。大模型或复杂任务在云端可能更快,判断时要看任务的最坏时延和带宽条件。
AI模型的输出可以直接接到控制回路吗?
不建议直接接。更稳妥的做法是把输出作为设定点、分类标志或异常信号,由控制层做限幅、校验和状态机处理。安全联锁和硬实时环仍由规则和 RTOS 负责。
模型量化后精度下降怎么办?
先做校准集和现场数据验证。必要时用量化感知训练、混合精度或调整模型结构。精度下降影响到误报和漏报阈值时,要重新评估任务边界。
传统嵌入式工程师转AI嵌入式,先学什么?
先把一个完整链路跑通:数据采集、特征或窗口处理、模型训练、量化转换、板端推理、结果接入状态机。C/C++、RTOS、驱动和硬件调试仍然是基础。

浙公网安备 33010602011771号