AI软件测试的基础知识
一、AI软件测试分类
1、ai测试分类两类
a、测试ai工具
如:豆包、qianwen、
b、通过ai工具提效
如:ai写用例、ai工具写代码
定义:对AI产品全流程多维度测试;对象包含大模型、数据、功能;验证准确性、稳定性、安全合规 确保ai产品能稳定、可靠、合规的落地使用。
二、AI测试内容
-
功能测试
-
幻觉专项测试
-
鲁棒性测试
-
安全对齐性测试
-
性能测试
-
多模态专项测试
-
RAG知识库测试
-
合规隐私测试
-
偏见性测试
三、AI测试标准流程
需求评审→拿到需求→编写测试计划→熟悉需求分析→编写用例→数据集用例→部署环境→冒烟测试试用例→执行测试用例→有bug提交开发→开发修复→测试验证→用例全部执行完毕,bug清零→输出测试报告→UAT验收→版本封装→上线→线上测试→上线成功
四、AI测试核心价值
-
保障ai输入输出准确
-
避免ai幻觉、偏见问题
-
优化用户体验 如(避免答非所问、逻辑混乱)
-
满足行业合规,保护隐私
五、传统测试 VS AI测试
对比项 传统测试 AI测试
测试对象 传统测试: 功能、代码、业务逻辑
AI测试功能、模型、数据
测试方法 传统测试:等价类、边界值、场景法、状态迁移等,白盒测试
(方法:语句覆盖,条件覆盖,判断覆盖,判断条件等)
AI测试:统计分析、多轮对话、对照组、数据排查法
(核心验证:输出正确性,一致性,无偏见,符合逻辑)
测试难点 传统测试:业务代码逻辑复杂,bug定位难
AI测试:数据质量差;幻觉不可预判;偏见难量化;输出动态不确定,无法提前预判
a、数据质量层次不齐
ai学习要以来数据、数据就像ai教材、教材有误,有缺失、格式不完整、ai就会学错,输出结果就是错的
b、ai幻觉难以预判
ai很容易出现虚假信息,也叫幻觉
c、偏见难以量化
ai偏见:性别偏见、地域偏见
六、AI模型完整流程
数据采集 → 数据预处理 → 模型训练 → 模型部署 → 产品应用
-
数据采集:ai 模型的源头,核心作用:手机ai学习所需要的原始数据
ai数据根据ai的产品的需求来提供 -
数据预处理:清洗、标准化、筛选;删除空值/错误/重复,统一格式,剔除无效数据(基础)
-
模型训练:模型学习优质数据,总结规律 提升能力(核心)
-
模型部署:ai模型从“实验室”走向时间应用的关键环节
核心作用:将训练好的数据、部署到具体的ai产品中,让模型能够接受用户需求、输出正确的数据结果 -
产品应用:面向用户提供服务,收集用户反馈迭代模型
模型三类数据
• 训练数据:用ai模型训练优质的数据,是一个模型、是一个学习知识的教材
• 测试数据:用于测试ai模型的问题,排查模型中的问题的数据
• 标注数据:对原始数据进行标记、说明修改后的数据、相对给ai模型的教材标注了重点
七、相关AI岗位简表
-
AI软件测试工程师(10‑25k)
职责:AI功能测试、AI工具落地提效、校验数据质量
技能:基础软件测试、AI工具、数据测试、自动化 -
大模型算法工程师(20‑35k)
职责:模型研发、调优落地
技能:大模型原理、深度学习、算法 -
AIGC应用工程师(8‑13k)
职责:AIGC产品落地,提示词、内容优化
技能:提示词工程、AIGC工具实操 -
AI产品经理(15‑35k)
职责:需求梳理、产品设计、项目推进
技能:产品设计、需求分析、项目管理 -
大模型测试开发工程师(18‑35k)
职责:搭建测试体系、开发自动化评测工具
技能:测试开发、自动化、大模型效果评测
浙公网安备 33010602011771号