测试人必学：AI 软件测试实战学习手册

最近不少测试同行在问：传统测试还有没有前景？想转 AI 测试，不知道从哪里下手。

很多人误以为 AI 测试门槛极高，必须深度学习算法、看懂大模型底层数学原理，其实不是。AI 测试的核心，是用测试思维去保障 AI 应用质量，而不是去训练基座大模型。不管你是手工测试想转型，还是零基础想入行测试赛道，这条路线都能直接照着学。

AI 产品和普通软件最大的区别：传统软件输入固定，输出就固定；但大模型、RAG 知识库、Agent 智能体，相同输入可能得到不一样的答案。它的缺陷不再只是页面报错、接口 500，更多是幻觉、事实错误、prompt 注入、回答不可控、检索召回不准这类软性问题，评测逻辑完全重构。

如果你打算入门，不要一上来啃复杂框架，分 4 个阶段循序渐进学习，节奏最稳。

第一阶段：打底｜AI 基础 + Prompt 工程（2 周）
目标：搞懂大模型基本概念，学会用提示词赋能日常测试，看懂 AI 产品的运行逻辑，不用写复杂代码。

必学知识点：

1. 基础概念：Token、上下文窗口、温度参数、Embedding、模型幻觉、零样本 / 少样本提示。重点理解幻觉是什么、哪些场景容易产生幻觉，这是 AI 测试最常遇到的 bug。
2. Prompt 工程：角色设定、思维链、结构化输出、Few-shot。练习写提示词，让大模型帮你生成测试用例、造测试数据、分析日志、写缺陷描述。
3. 区分两类方向：AI 辅助测试（AI 帮传统测试提效）、AI 原生产品测试（直接测试大模型应用、RAG、Agent），优先从 AI 辅助测试入手，上手最快。

实操练习：拿你手上现有的项目需求，写提示词批量生成测试用例；构造恶意 prompt，尝试诱导模型输出违规内容，做简单探索测试。

工具：豆包、通义千问等国内大模型，Dify/Coze 低代码平台，可视化搭建知识库应用，直观感受 RAG 是怎么检索文档、生成回答。

第二阶段：技术基本功｜Python + 接口自动化（3-4 周）
AI 测试离不开代码，但不用精通全栈开发，够用即可。优先掌握这些内容：

• Python 基础：变量、列表、字典、函数、基础文件读写，能写简单脚本处理评测数据集。
• 接口基础：HTTP、请求参数、返回 JSON 解析，会调用大模型 API，批量发送请求。
• 自动化基础：Pytest 框架，学会批量执行用例、生成简单报告。

很多卡在转型路上的测试，短板不是 AI，而是不会写基础脚本。AI 评测需要批量跑上千条 case，纯手工执行效率太低，简单 Python 脚本就能帮你完成自动化评测。

实操项目：调用大模型 API，批量输入测试 prompt，把返回结果保存到文件，做简单结果对比。

第三阶段：AI 专项评测｜RAG + LLM 评测（4-6 周，核心重点）
这是 AI 测试岗位面试、项目工作的核心内容，也是和传统测试最大的分水岭。

1. RAG 知识库测试：文档切片、向量库、召回、重排。核心指标：召回率、准确率，重点校验模型回答是否严格引用参考文档，有没有编造不存在信息。很多企业 AI 产品都是 RAG 知识库，岗位需求最多。
2. LLM 评测体系：LLM-as-a-Judge，用大模型充当裁判，自动评估回答的事实性、相关性、毒性。学习评测数据集构建，区分黄金标准答案、bad case 收集回流机制。
3. AI 安全对抗测试：Prompt 注入、越狱攻击、数据泄露，也就是大模型红队测试，检查模型安全护栏是否有效。

推荐工具：DeepEval、RAGAs，专门用来做大模型自动化评测，不用从零开发评测逻辑。

实战项目：在 Dify 搭建一个文档问答知识库，自己构造测试集，测试知识库回答幻觉、引用错误、问答边界场景，产出完整 AI 评测报告。这个项目写进简历，面试非常加分。

第四阶段：进阶｜Agent 智能体测试（可选，提升竞争力）
掌握前面内容之后，再去学 Agent。Agent 本质是带工具调用、记忆、任务规划能力的智能体，能自主调用接口、执行任务。
学习重点：工具调用正确性、任务链路稳定性、记忆污染、多轮对话一致性，理解 Agent 的规划、思考、执行流程。
了解 LangChain、LangGraph 基础，看懂 Agent 工作流，学会设计多轮复杂场景用例。

学习避坑，这几个误区千万别踩
❌ 误区 1：上来就啃深度学习、Transformer 底层。测试不需要训练模型，把大量时间花在神经网络推导上，投入产出极低。
❌ 误区 2：只看视频不做项目。AI 测试非常看重实战，光听课不动手，面试一问项目细节就卡壳。
❌ 误区 3：跳过基础直接学 Agent。Agent 复杂度很高，RAG 还没搞懂直接冲 Agent，很容易学懵。
❌ 误区 4：完全丢掉传统测试能力。接口、测试用例设计、风险分析这些底层能力，在 AI 测试里依旧是核心。AI 只是换了被测对象，测试思维永远不会过时。

学习资源推荐
免费入门：大模型官方文档、Dify 官方教程、技术社区文章；
评测工具：DeepEval、RAGAs、Ollama 本地部署模型，本地测试不用消耗高额 API 费用；
练习平台：Dify、Coze，可以免费搭建知识库和简单 Agent，零成本做项目。

适合哪些人学，多久能入门？

• 手工测试：2-3 个月，掌握 Prompt、RAG 评测 + 基础 Python，可投递 AI 应用测试岗位；
• 已有自动化测开基础：1 个月左右，快速补齐大模型评测知识，直接转型；
• 零基础入行：建议先把基础软件测试 + Python 学完，再切入 AI 测试，周期 4 个月上下。

AI 不是淘汰测试工程师，而是淘汰只会重复手工点点点的测试。未来企业招聘测试，会越来越看重 AI 评测、大模型质量保障能力。与其被动等待行业变化，不如主动补齐技能，抓住这波行情红利。

如果你打算开始学习，第一步不用买昂贵课程，先去 Dify 搭建一个简单知识库，亲手测一遍，你就能直观感受到 AI 测试到底在做什么。