AI测试

1、AI测试的理论和方法正从传统软件测试的“确定性验证”向“概率性评估”转变。核心理论挑战在于：AI系统没有固定的预期输出，传统基于“输入→预期输出”的断言方式失效，测试需要转向对统计正确性、鲁棒性和可信属性的评估。
2、核心理论框架：从“正确性”到“可信性”，即：测试目标从寻找“错误”转向评估“可接受的性能范围”和“风险”，测试理论不再局限于准确率，而是扩展到评估系统的可信属性。
可信属性包括：技术层面的泛化性（对未见数据的处理能力）、鲁棒性（对噪声和对抗攻击的抵抗能力）、可靠性、社会技术层面的公平性（无偏见）、可解释性（理解决策原因）和隐私保护
3、数据与特征层测试：这是AI测试的基石，因为数据缺陷是最大的“隐形杀手”。主要方法包括数据质量评估（完整性、一致性，如Great Expectations数据质量框架）、特征漂移检测（如使用PSI指标监控分布变化）以及负向测试（用异常输入验证系统的健壮性）
4、安全与合规测试：这是当前AI测试的重点。包括对抗性攻击测试（如越狱、提示注入）、公平性审计（检查偏见）以及护栏验证（确保系统不泄露敏感数据、不执行违禁操作）
5、对于AI Agent，轨迹测试比仅检查最终答案更重要，因为正确的答案可能来自错误的推理路径
6、端到端测试：指的是从用户发起请求到系统返回最终结果，把整个链路当作一个整体来验证，而不是只测某个模型或某个模块。它的核心价值是捕获模块之间集成时才暴露的问题，但代价是定位困难：一旦失败，你只知道"整条链路有问题"，所以实践中通常采用"端到端 + 模块级"结合的策略——端到端发现故障，模块级定位根因。
端到端回放：用真实流量"重演"一遍，把生产环境中真实发生过的请求（输入、上下文、甚至中间状态）记录下来，然后在测试环境中重新"播放"这些请求，观察系统的新版本会输出什么。
7、RAG 是让AI会查资料、了解世界，从外面找证据，RAG 补的是模型不知道的
Memory是让AI会记事、了解你，是把经历过的事存下来，Memory补的是模型记不住的
RAG 召回外部知识，Memory 找回历史经历，干的都是补上下文这一件事。
RAG 从外部找知识证据，Memory 存并找回历史经历、偏好和状态。它俩角色不一样，但能一起用：记忆能当知识的原料，得过校验才晋升；知识能帮 agent 记事，沉淀结论和线索而非整份原文。至于存一块儿还是分开，看工程情况定——但有一条是硬的：不管你分不分库，记忆到知识这条校验链得建，不建，记忆永远是记忆，升不成知识。
8、ReAct 是推理与行动交替的决策范式：模型每轮输出推理、决定下一步行动，框架执行行动、把观察写回上下文，模型基于新观察决定下一轮。2022 年论文提出的形态是 Thought/Action/Observation 文本交错，靠 few-shot 提示从模型里挤出来；今天结构化工具调用已是模型原生能力，文本约定不再承担识别工具请求的职责，循环本身沉进框架，由框架管理轮数预算、分层超时与错误恢复、观察写回与断点续写。相对 Plan-and-Execute 的先计划后执行、Reflexion 的失败后反思重试，ReAct 的特征是走着看，对开放任务的适应性最强。
9、如果从零造一个 AI Agent，最少需要几个零件？

• 大脑（LLM）：能思考的LLM。传统软件是“逻辑驱动”，而Agent是“意图驱动”。LLM作为推理引擎，负责将模糊的自然语言转化为具体的执行计划。没有LLM，就没有Agent的泛化能力。
• 手（Tools/Skill）：能调用的工具（跑代码、读写文件、搜信息），赋予它xxx的能力，等于突破了LLM自身的知识边界和时间限制，让它能真正“改变世界”，是Agent价值的放大器
• 记忆（Memory）：会话上下文不能无限长，得管理。哪怕现在有了百万级上下文窗口（Context Window），上下文也是有限且昂贵的。如何做短期记忆（会话上下文）和长期记忆（RAG、向量数据库），决定了Agent能不能处理长周期任务。
• 循环（ReAct）：Agent是“思考→行动→观察→再思考”的闭环，这是 Agent 和 Chatbot 的本质区别，ReAct（Reasoning and Acting）框架是Agent能够自我纠错、多步推理的根本。
• 围栏（权限控制）：Agent的“幻觉”和“过度执行”是极其危险的。Human-in-the-loop（人类介入）和沙箱环境、RBAC权限控制，是Agent走向生产环境的最后一块拼图，不能让 AI 把生产库删了绝非玩笑