AI 判断 IoT 安全风险：结论 88% 正确，但理由只值 53 分——这样的审查你敢签字吗

💡 一句话总结：物联网设备的密码工程（防侧信道、防故障注入这些「实现层」安全）是 AI 进入安全行业的高价值场景。北理工出了第一份专门考卷：380 道专家题实测 11 个模型。结果很有意思：选择题快满分了、写代码也接近 95%，但让它「判断这个设计是否安全并给出理由」只有 58.8%——而且「结论正确」的模型里，理由只有一半站得住。安全审查签核前，人工复核不能省。

导语：算法安全 ≠ 实现安全，AI 恰恰卡在实现上

密码学教科书里的 AES 无懈可击，但你的智能门锁里那份 AES 实现可能百密一疏：功耗曲线泄露密钥（侧信道）、一次精心注入的电压毛刺跳过验证（故障注入）——攻击者摸到设备后，攻的不是算法，是实现。

这正是 LLM 大举进入的领域：用它写加密实现、审安全代码、评估加固方案。但此前的 AI 基准要么考密码学理论，要么考通用网络安全——「密码工程」这个决定真实产品生死的细分领域，从来没被系统考过。

北京理工大学团队填上了这个空白：CESBench，380 道专家撰写考题，覆盖六个工程子域、四种题型，11 个开源与闭源模型全量作答。

想看原文？

• 📄 论文：arXiv 2609.21344

它的思路是什么？

• 📝 四题型分层考能力：209 道选择题（知识回忆）、67 道判断题（给安全结论+论证理由）、63 道场景题（工程诊断）、41 道代码题（572 个测试用例自动判分）——从「记得」到「会做」再到「会论证」逐级加码
• ⚖️ 评分三重校验：选择题与代码自动判分；判断与场景由 LLM judge 评分，再用异族第二 judge 交叉校验、辅以盲态人工复评——AI 判 AI 的分数本身也被审
• 🎯 六子域全覆盖：侧信道分析、故障注入、实现安全、对抗措施、安全评估、集成部署——密码工程师的日常工作全景

效果到底怎么样？

• 📊 总分 54.4%–83.6%：最强与最弱模型差距明显，说明考卷有区分度
• 🏆 记忆与执行接近满分：选择题最佳 98.6%、代码最佳 95.1%——「背下安全知识」「写出规范实现」对头部模型已不是问题
• 🚨 判断题只有 58.8%：模型给出正确安全结论的比例是 88.5%，但支撑结论的理由只拿到评分量表 53.4% 的分——「知道答案」和「讲清为什么」严重脱节
• 📉 选择题已失去区分度：五强模型在此项挤在一起，判断与代码题才是真正的分水岭

为什么你要关心？

• 🔐 「结论对、理由错」是安全场景的致命伤：AI 说「这个实现安全」可能蒙对了，但理由错误意味着换一个变体就会翻车——安全签核永远需要人复核论证过程
• 📐 「结论正确率 vs 理由质量」分开测值得推广：医疗诊断、法律意见、金融风控——一切「AI 给专业判断」的场景都该用这对指标，单一正确率会严重误导
• 🏗️ 垂直安全基准的出题配方：四题型分层 + 六子域覆盖 + 三重评分校验——做任何垂直领域 AI 能力评测都可复用这套结构

理性看待

冷静看三点：判断题主要靠 LLM judge 评分，虽有交叉校验仍有偏差残留；缺少人类专家基线（不知道 58.8% 相当于人类什么水平）；IoT 密码工程之外的外推需谨慎。但作为该领域的第一份系统考卷，CESBench 的结论足够清晰：AI 可以起草实现、辅助评估，但它的安全判断在通过专家复核之前，只是草稿。