03.智能家居端侧 AI 架构

关键点：

• 唤醒词（Wake Word）：OpenWakeWord，说"你好管家"才启动识别，避免误触发

• VAD（语音端点检测）：WebRTC VAD，检测起止点，喂给本地ASR

• 本地 ASR：sherpa-onnx

• Qwen3-VL 意图解析，System Prompt 要求模型输出自然语言，转为可执行 JSON 指令，比如：   

• 本地 TTS：sherpa-onnx-vits-zh-ll

• mac-名字映射：把json里的device名字映射到MAC

• 数据引擎：根据设备物模型内容+具体mac+目标action，封装出最终指令

• RAG增强检索

• 会话记忆

1. 保留最近 N 轮对话上下文给 Qwen3-VL（messages = [{"role":"user",...},...]）
2. 维护家庭设备状态缓存（人体存在传感器、环境温度）供模型参考做上下文推理