AI软件测试的基础知识

一、AI软件测试分类
1、ai测试分类两类
a、测试ai工具
如:豆包、qianwen、
b、通过ai工具提效
如:ai写用例、ai工具写代码

定义:对AI产品全流程多维度测试;对象包含大模型、数据、功能;验证准确性、稳定性、安全合规 确保ai产品能稳定、可靠、合规的落地使用。

二、AI测试内容

  1. 功能测试

  2. 幻觉专项测试

  3. 鲁棒性测试

  4. 安全对齐性测试

  5. 性能测试

  6. 多模态专项测试

  7. RAG知识库测试

  8. 合规隐私测试

  9. 偏见性测试

三、AI测试标准流程

需求评审→拿到需求→编写测试计划→熟悉需求分析→编写用例→数据集用例→部署环境→冒烟测试试用例→执行测试用例→有bug提交开发→开发修复→测试验证→用例全部执行完毕,bug清零→输出测试报告→UAT验收→版本封装→上线→线上测试→上线成功

四、AI测试核心价值

  1. 保障ai输入输出准确

  2. 避免ai幻觉、偏见问题

  3. 优化用户体验 如(避免答非所问、逻辑混乱)

  4. 满足行业合规,保护隐私

五、传统测试 VS AI测试
对比项 传统测试 AI测试
测试对象 传统测试: 功能、代码、业务逻辑
AI测试功能、模型、数据
测试方法 传统测试:等价类、边界值、场景法、状态迁移等,白盒测试
(方法:语句覆盖,条件覆盖,判断覆盖,判断条件等)
AI测试:统计分析、多轮对话、对照组、数据排查法
(核心验证:输出正确性,一致性,无偏见,符合逻辑)
测试难点 传统测试:业务代码逻辑复杂,bug定位难
AI测试:数据质量差;幻觉不可预判;偏见难量化;输出动态不确定,无法提前预判

a、数据质量层次不齐
ai学习要以来数据、数据就像ai教材、教材有误,有缺失、格式不完整、ai就会学错,输出结果就是错的
b、ai幻觉难以预判
ai很容易出现虚假信息,也叫幻觉
c、偏见难以量化
ai偏见:性别偏见、地域偏见

六、AI模型完整流程

数据采集 → 数据预处理 → 模型训练 → 模型部署 → 产品应用

  1. 数据采集:ai 模型的源头,核心作用:手机ai学习所需要的原始数据
    ai数据根据ai的产品的需求来提供

  2. 数据预处理:清洗、标准化、筛选;删除空值/错误/重复,统一格式,剔除无效数据(基础)

  3. 模型训练:模型学习优质数据,总结规律 提升能力(核心)

  4. 模型部署:ai模型从“实验室”走向时间应用的关键环节
    核心作用:将训练好的数据、部署到具体的ai产品中,让模型能够接受用户需求、输出正确的数据结果

  5. 产品应用:面向用户提供服务,收集用户反馈迭代模型

模型三类数据

• 训练数据:用ai模型训练优质的数据,是一个模型、是一个学习知识的教材

• 测试数据:用于测试ai模型的问题,排查模型中的问题的数据

• 标注数据:对原始数据进行标记、说明修改后的数据、相对给ai模型的教材标注了重点

七、相关AI岗位简表

  1. AI软件测试工程师(10‑25k)
    职责:AI功能测试、AI工具落地提效、校验数据质量
    技能:基础软件测试、AI工具、数据测试、自动化

  2. 大模型算法工程师(20‑35k)
    职责:模型研发、调优落地
    技能:大模型原理、深度学习、算法

  3. AIGC应用工程师(8‑13k)
    职责:AIGC产品落地,提示词、内容优化
    技能:提示词工程、AIGC工具实操

  4. AI产品经理(15‑35k)
    职责:需求梳理、产品设计、项目推进
    技能:产品设计、需求分析、项目管理

  5. 大模型测试开发工程师(18‑35k)
    职责:搭建测试体系、开发自动化评测工具
    技能:测试开发、自动化、大模型效果评测

posted @ 2026-11-10 11:55  毛十三1  阅读(1)  评论(0)    收藏  举报