AI 软件测试

AI 软件测试

一、AI 软件测试
1、ai测试分类两类
a、测试ai工具
如：豆包、qianwen、
b、通过ai工具提效
如：ai写用例、ai工具写代码

2、ai软件测试定义?
定义：ai软件测试是针对ai产品的全流程，多维度的测试活动
核心测试对象：ai的大模型、数据、功能、最终的母的严重ai产品的准确性、稳定性、安全和合规性、确保ai产品能稳定、可靠、合规的落地使用

3、ai测试内容：
（1）功能测试
（2）幻觉测专项测试
（3）鲁棒性测试
（4）安全对齐性测试
（5）性能测试
（6）多模态专项测试
（7）RAG知识库测试
（8）合规和隐私测试
（9）偏见性测试

4、ai测试标准流程：
需求评审拿到需求编写测试计划熟悉分析需求编写测试用例数据数据集用例搭建环境冒烟测试用例执行测试用例（功能、幻觉、鲁棒性，偏见）有bug提交给开发，开发修改测试验证直到用例100%执行，0bug输出测试报告uat验收封装版本准备上线上线线上测试上线成功

5、ai软件测试核心价值？
（1）保障ai产品输出和输入的准确性
（2）避免ai出现幻觉、偏见等、
（3）提升用户体验
如:答非所问、ai文案逻辑混乱
（4）符合行业合规标准
如：ai不能泄露隐私、个人金额，存款

6、传统测试和ai测试的差异
（1）测试对象
传统测试：功能、代码、逻辑
ai测试：功能、模型、数据
（2）测试方法
传统测试方法：等价类、边界值、场景法、状态迁移法等，白盒测试方法：语句覆盖、条件覆盖、判断覆盖、判断条件覆盖等
ai测试方法：统计分析法、多轮测试方法、对照组测试、数据排查法（核心验证：输出正确性、一致性、无偏见、符合逻辑）
(3) 测试难点
传统测试：代码逻辑复杂、bug难以排查
ai测试：数据质量的层次不齐、幻觉难以预判、潘建难以量化、ai输出的是动态，无法提前预判
a、数据质量层次不齐
ai学习要以来数据、数据就像ai教材、教材有误，有缺失、格式不完整、ai就会学错，输出结果就是错的
b、ai幻觉难以预判
ai很容易出现虚假信息，也叫幻觉
c、偏见难以量化
ai偏见：性别偏见、地域偏见

7、ai模型的完整流程
数据采集（源头）》数据预处理（基础）》模型训练（核心）》模型部署（桥梁）
产品应用（目的）
（1）数据采集
ai模型的源头，核心作用：手机ai学习所需要的原始数据；
ai数据根据ai产品的需求，来提供
比如：ai文档生产模型，采集海量的文案教程

（2）数据预处理
ai模型的数据筛选与优化环节
核心作用：对数据原始数据进行清洗、整理、标准化
如：整理教材、删除无效数据、标准重点数据内容
a、清洗：删除控制、错误数据、重复数据
b、标准化：统一数据格式、比如：省、市、县、镇
c、筛选：删除无关数据、整理成规范的数据

（3）模型训练
ai模型学习环节
核心作用：让模型通过学习预处理的优质数据，总计规律，提升能力

（4）模型部署
ai模型从“实验室”走向时间应用的关键环节
核心作用：将训练好的数据、部署到具体的ai产品中，让模型能够接受用户需求、输出正确的数据结果
（5）产品应用
ai产品应用
核心作用：让部署后的模型，通过ai产品为用户提供服务，收集用户反馈，为模型提供依据

8、ai模型中的三类数据：
训练数据、测试数据、标注数据
（1）训练数据
用ai模型训练优质的数据，是一个模型、是一个学习知识的教材
（2）测试数据
用于测试ai模型的问题，排查模型中的问题的数据
（3）标注数据
对原始数据进行标记、说明修改后的数据、相对给ai模型的教材标注了重点