AI基础知识
AI 基础概念
1、AI（人工智能）
- 定义：通过模拟、延伸和拓展人类的智能（比如：学习、推理、决策能力），借助相关的技术和方法让机器能够执行通常需要人类才能完成的智能任务
- 模拟：就是让机器模仿人类的思考和行为逻辑：比如人类能识别猫、狗，ai 也能识别
- 延伸：就是让机器的能力能超越人类局限：比如人类是记不住海量的数据，ai 能瞬间记住大量数据
- 拓展：就是让智能应用到更多场景：24 小时不间断的工作，24 小时监控天气汇报
计算机视觉（cv）
能让机器人拥有眼睛、能看懂图片、视频等
自然语言处理（nlp）
能让机器用于理解、能听懂、能读
- 学习：比如数据学习、抖音、淘宝、搜索喜欢衣服，给你推荐不同的衣服、相关的衣服
- 推理：比如有乌云、推理出下雨、气温
- 语言理解：比如不同方言、文字、图片，能听懂指令、语音输入
- 决策：比如导航根据不同路径，给你调整路线（高速优先，优先决策）
2、机器学习
- 让机器通过大量的数据，自己总结规律、提升能力，不用人类手动编写每一步指令
- 比如：ai 能精准的识别猫和狗，不需要明确说明，"猫有尖耳朵、狗有尾巴"
- 通过学习几十万、几百万张狗和猫的图片、总结出猫和狗的核心区别，精准区别
- 工作：ai 训练师、数据标注
3、深度学习
- 是机器学习的进阶版，相当于给机器装饰了聪明的大脑，她能通过模拟人类大脑神经网络结构，让机器能够处理更复杂的数据、更精细的任务
- 比如：
- ai 能对话的 ai 助手、能识别文档的内容，进行问答、多轮交互
- ai 能生成更逼真的图片
- ai 能生成更全面的文档
4、AIGC（人工智能生成内容）
- aigc 就是通过人工智能技术，自动化生产各类内容的技术和应用
- 核心：让 ai 能自动生成新内容，不是简单的复制、黏贴、会根据我们需求，生成文字、图片、视频的全新内容
- 文案生成：豆包、deepseek、chatgpt、文心一言、kimi、qianwen、等
- 图片生成：即梦、豆包、chatgpt4.0、comfy ui、midjourney 等
- 视频生成：剪映 ai、海螺 ai、可灵 ai、即梦 ai 等
5、AI 大模型（多模态大模型）
- 定义：依托大数据、大算力、transformer 强算法构建，参数量≥10 亿的巨型深度神经网络，通过海量无标注数据完成训练、具备强通用泛化能力、可跨领域完成多类任务、无需大量定制，即改造适配对话、创造、识图等场景
- 小模型 < 10 亿
- 大模型≥10 亿
核心构成
- 超大参数规模
- 海量训练数据
- 超高算力消耗
两大主流分类
- 单模态大模型（LLM 大语言模型）：仅处理文本，能正确识别文字，输入文字。比如：gpt3、早期通义千问
- 多模态大模型（MLLM 当前主流）：可同时兼容文本、图片、视频、音频、3d 多种场景，实现跨模态的生成。比如：gpt-4、文心一言、豆包、通义万象、讯飞星火等多模态
常用模型
国内
- 豆包（字节）：优点：中文原文优化、国内访问稳定、短视频理解、截图、手机界面识别好、api 价格友好
- 通义 qwen（阿里）：优点：国内综合第一梯队、ocr、试卷、图表、gui 视觉 agent 很强
- kimi k3：优点：超长上下文、大量图片、长文档
- 文心（百度）：优点：国内合规成熟、文生图 + 识图一体化、证件、通用的 ocr 稳定
- 混元（腾讯）：优点：微信生态打通，最长支持 30 分钟视频、中文场景、海报、图文素材理解不错
国外
- gpt-4，gpt-4o-mini（open ai）：优点：综合视觉，推理空间感知，ui 截图识别顶尖
- gemini 1.5 pro（google）：优点：长视频理解是最大强项
- claude 3 opus：优点：超长上下文、pdf、扫描件
6、ai 能做什么？ai 不能做什么？
ai 能做
- 重复性工作（文案生成、数据统计、表格逻辑）
- 复杂的数据处理（大量数据中筛选、异常数据的排查）
- 内容生成（文案、图片、视频）
- 语言的理解（ai 语言对话、ai 客户）
ai 不能做
- 没有数据支持的决策（如：未训练、ai 无法判断一个全新的行业）
- 情感共鸣和人文思考（如：不能写出有深度的文学作品）
- 超出训练范围的创新（如：超出现有知识的创造）
- 绝对的精准无错（ai 容易出现幻觉、偏见、泛化等）
7、概念词
- ai agent（ai 智能体） 如:coze
- RAG 技术（检索增强技术） 如：知识库
- 单模态 ai
- 多模态 ai
- langchain 是一个大语言模型的编程框架
- cursor 人工智能编程助手，提供代码补全（这是一个工具）
- dify：是一个企业级开源智能体平台
- n8n：一个开源，基于节点的工作流的自动化工具
- coze（扣子）：一个字节推出的零代码 ai 智能体开发平台，无需编程基础，就能搭建对话，执行任务，可调用的工具助手，可以一键发布到飞书、微信、web 等平台
- skill 智能体技能
以上 AI 相关术语通俗解释
1、AGI（通用人工智能）
- 通俗说：就是 "拥有人类一样思考能力" 的 AI，能像人一样，自主解决各种不同类型的问题（比如既能写代码、做设计，也能聊天、做决策）
- 目前还没完全实现，现在我们用的 AI（比如 ChatGPT）都只是 "专用 AI"（只能做特定领域的事）
- 应用场景：未来可替代人类大部分复杂工作，目前 IT 培训中，多作为 "高阶 AI 课程" 的核心内容
2、AI Agent（AI 智能体）
- 通俗说：就是 "能自己干活的 AI 助手"，你给它一个目标，它不用你一步步指挥，能自主规划步骤、调用工具，完成任务
- 应用场景：比如你让它 "写一份 IT 教学文案"，它会自己找素材、写文案、修改优化，不用你逐句指导；IT 教学中，常作为 Python、AI 开发课程的实战案例
3、RAG 技术（检索增强生成）
- 通俗说：就是 "给 AI 装一个 ' 知识库 '"，让 AI 回答问题时，先从你给定的资料（比如 IT 教学课程介绍、学员案例）里找答案，再结合自身能力生成内容，避免瞎编乱造
- 应用场景：IT 教学机构用来做 "智能教学机器人"，学员问 "课程费用多少""0 基础能学吗 "，机器人能精准结合机构资料回答，不用人工一直值守
4、单模态 AI
- 通俗说：只能处理 "一种类型的信息" 的 AI，比如只能处理文字（像普通聊天机器人）、只能处理图片（像图片识别工具）、只能处理声音（像语音转文字），不能同时处理多种信息
- 应用场景：简单的聊天机器人、图片审核工具，IT 培训中是基础 AI 课程的内容
5、多模态 AI
- 通俗说：能同时处理 "多种类型信息" 的 AI，比如既能看图片、听声音，也能写文字、做视频，和人类的感知方式更像
- 应用场景：ChatGPT 4、抖音 AI 生成视频工具，IT 培训中是高阶 AI 课程（比如 AI 视觉、AI 多模态开发）的核心内容，薪资更高
6、LangChain
- LangChain 是一个基于大型语言模型（LLM）的编程框架，帮助开发者更方便地将 LLM 与外部数据、工具和业务流程结合起来，构建更实用、更强大的 AI 应用
- langchain 的作用：
- 根据需求文档、接口文档或历史缺陷，自动生成测试用例
- 使用 LangChain Agent 工具调用 Code Interpreter 工具，支持 Python 脚本生成
- 将缺陷描述、日志等向量化存储，使用 LangChain + FAISS/Chroma 构建缺陷知识库
- 日志异常分析，构建 LangChain 问答链，实现我这个请求超时是因为啥？这类查询，配合 LLM 实现智能摘要与重点异常提示
- LangChain 加载 Swagger 或 Markdown 文档，使用 LLM 提取字段、参数、请求类型。通过接口文档自动生成接口测试用例和测试数据
- 通俗说：一个 "AI 开发工具包"，程序员用它能快速搭建 AI 应用（比如 AI 智能体、RAG 知识库），不用从零写代码，节省开发时间
- 应用场景：Python 开发、AI 开发课程的核心工具，学会 LangChain，能快速上手 AI 应用开发，是 IT 培训中热门的实战技能
7、Cursor
- Cursor 是由 Anysphere 公司开发的人工智能编程助手，基于大语言模型提供代码补全、解释、重构与自然语言生成函数功能，支持接入 GPT-4o、Claude 3.7 Sonnet 等外部模型
- 通俗说：一个 "AI 辅助编程工具"，专门用来写代码，能自动补全代码、找代码错误、优化代码，哪怕是 0 基础，也能借助它快速写出简单代码
- 应用场景：IT 培训中，用来辅助学员学习编程（Python、Java 等），降低学习难度，提升学习效率，是新手编程的 "神器"
8、Dify
- Dify 定位为企业级开源智能体平台
- 通俗说：一个 "零代码 AI 应用搭建工具"，不用懂编程，普通人也能拖拽操作，搭建出自己的 AI 应用（比如智能咨询机器人、AI 文案生成器）
- 应用场景：IT 培训中，适合 0 基础学员入门 AI 应用，快速做出可落地的 AI 小项目，提升学习成就感
9、n8n
- 是一款开源的、基于节点的工作流自动化工具
- 通俗说：一个 "自动化工具"，能把不同的软件、工具连接起来，实现 "自动干活"，比如自动把社群里的学员线索导入表格、自动给学员发送宣传物料
- 应用场景：IT 培训中，是运维、AI 自动化课程的内容；作为合作商，你也能用来简化荐客流程（比如自动跟进学员线索）
10、vibe coding
- 定义：vibe coding 也叫氛围编程、感觉编程
- 核心：人只要负责用自然语言描述（效果、功能、页面），由大模型 ai 全权负责实现细节，自动编写编码
- vibe：创作氛围
- coding：不再是手写代码，而是用自然语言对话生成代码
- 主流工具：cursor、claude code、trae、通义灵码、豆包编程
11、skill
- 是一套打包好，可以复用的（业务流程 + 规则 + 工具调用逻辑），给 agent 用的能力包，不是模型能力
AI 软件测试
一、AI 软件测试
1、ai 测试分类两类
- 测试 ai 工具：如：豆包、qianwen
- 通过 ai 工具提效：如：ai 写用例、ai 工具写代码
2、ai 软件测试定义？
- 定义：ai 软件测试是针对 ai 产品的全流程，多维度的测试活动
- 核心测试对象：ai 的大模型、数据、功能、最终的目的严重 ai 产品的准确性、稳定性、安全和合规性
- 确保 ai 产品能稳定、可靠、合规的落地使用
3、ai 测试内容
- 功能测试
- 幻觉测专项测试
- 鲁棒性测试
- 安全对齐性测试
- 性能测试
- 多模态专项测试
- RAG 知识库测试
- 合规和隐私测试
- 偏见性测试
4、ai 测试标准流程
需求评审 -- 拿到需求 -- 编写测试计划 -- 熟悉分析需求 -- 编写测试用例 -- 收集数据集用例 -- 搭建环境 -- 冒烟测试用例 -- 执行测试用例（功能、幻觉、鲁棒性，偏见）-- 有 bug 提交给开发，开发修改 -- 测试验证 -- 直到用例 100% 执行，0bug-- 输出测试报告 --uat 验收 -- 封装版本 -- 准备上线 -- 上线 -- 线上测试 -- 上线成功
5、ai 软件测试核心价值？
- 保障 ai 产品输出和输入的准确性
- 避免 ai 出现幻觉、偏见等
- 提升用户体验（如：答非所问、ai 文案逻辑混乱）
- 符合行业合规标准（如：ai 不能泄露隐私、个人金额，存款）
6、传统测试和 ai 测试的差异
- 测试对象：
- 传统测试：功能、代码、逻辑
- ai 测试：功能、模型、数据
- 测试方法：
- 传统测试方法：等价类、边界值、场景法、状态迁移法等，白盒测试方法：语句覆盖、条件覆盖、判断覆盖、判断条件覆盖等
- ai 测试方法：统计分析法、多轮测试方法、对照组测试、数据排查法（核心验证：输出正确性、一致性、无偏见、符合逻辑）
- 测试难点：
- 传统测试：代码逻辑复杂、bug 难以排查
- ai 测试：数据质量的参差不齐、幻觉难以预判、偏见难以量化、ai 输出的是动态，无法提前预判
- 数据质量参差不齐：ai 学习要依赖数据、数据就像 ai 教材、教材有误，有缺失、格式不完整、ai 就会学错，输出结果就是错的
- ai 幻觉难以预判：ai 很容易出现虚假信息，也叫幻觉
- 偏见难以量化：ai 偏见：性别偏见、地域偏见
7、ai 模型的完整流程
数据采集（源头）--> 数据预处理（基础）--> 模型训练（核心）--> 模型部署（桥梁）--> 产品应用（目的）
- 数据采集：ai 模型的源头，核心作用：收集ai 学习所需要的原始数据；ai 数据根据 ai 产品的需求，来提供。比如：ai 文档生成模型，采集海量的文案教程
- 数据预处理：ai 模型的数据筛选与优化环节，核心作用：对原始数据进行清洗、整理、标准化。如：整理教材、删除无效数据、标准重点数据内容
- 清洗：删除控制、错误数据、重复数据
- 标准化：统一数据格式、比如：省、市、县、镇
- 筛选：删除无关数据、整理成规范的数据
- 模型训练：ai 模型学习环节，核心作用：让模型通过学习预处理的优质数据，总结规律，提升能力
- 模型部署：ai 模型从 "实验室" 走向实际应用的关键环节，核心作用：将训练好的数据、部署到具体的 ai 产品中，让模型能够接受用户需求、输出正确的数据结果
- 产品应用：ai 产品应用，核心作用：让部署后的模型，通过 ai 产品为用户提供服务，收集用户反馈，为模型提供依据
8、ai 模型中的三类数据
训练数据、测试数据、标注数据
- 训练数据：用于ai 模型训练优质的数据，是一个模型、是一个学习知识的教材
- 测试数据：用于测试 ai 模型的问题，排查模型中的问题的数据
- 标注数据：对原始数据进行标记、说明修改后的数据、相对给 ai 模型的教材标注了重点
浙公网安备 33010602011771号