大模型知识总结

详细说下RAG流程

1. 用户输入问题处理
   ● 目标：解析并理解用户查询的意图和关键信息。
   ● 关键技术：
   ○ 查询解析：提取关键词、实体识别（如NER）、语义解析（理解深层意图）。
   ○ 查询扩展：通过同义词替换、上下文联想（例如，用户问“Transformer结构”时，补充“注意力机制”相关术语）增强检索效果。
   ○ 向量化：将查询转换为向量表示（如使用BERT、Sentence-BERT等模型），便于后续向量检索。
2. 文档检索
   ● 目标：从外部知识库中快速找到与查询最相关的文档或段落。
   ● 关键技术：
   ○ 索引构建：预处理知识库文档，构建高效的索引结构（如倒排索引、向量索引FAISS/HNSW）。
   ○ 检索算法：
   ■ 稀疏检索：基于词频的方法（如BM25），适合关键词匹配。
   ■ 密集检索：基于语义相似度的向量匹配（如DPR、ANCE模型）。
   ○多路召回：结合多种检索策略（如同时用BM25和向量检索），提升召回率。
3. 文档后处理
   ● 目标：优化检索结果，确保输入生成模型的信息质量。
   ● 关键技术：
   ○ 去重与排序：根据相关性（如相似度分数）或多样性筛选结果。
   ○ 截断与分块：处理长文本（如滑动窗口截断），适配生成模型的输入长度限制。
   ○ 上下文增强：添加元信息（如文档来源、时间戳）供生成模型参考。
4. 生成回答
   ● 目标：基于检索结果和用户输入生成自然、准确的回答。
   ● 关键技术：
   ○ 提示工程：将检索到的文档与用户查询拼接为生成模型的输入（Prompt），例如：
   ○ 生成模型选择：使用预训练生成模型（如GPT-3、T5、BART）进行条件文本生成。
   ○ 可控生成：通过Temperature调整、Top-k采样等控制生成结果的多样性和准确性。
5. 后处理与验证
   ● 目标：优化生成结果的格式和事实准确性。
   ● 关键技术：
   ○ 文本润色：去除重复内容、语法纠错、调整句式。
   ○ 事实核验：对比检索结果与生成内容，确保一致性（如使用NLI模型验证逻辑）。
   ○ 引用标注：标明答案的来源文档（增强可信度）。

大模型幻觉问题？

1. 技术定义：看似合理但不符合事实或逻辑的内容。常见生成式任务。
2. 典型案例：

幻觉类型 (Hallucination Type)	问题表现 (Problem Description)	解决方案 (Solution)
事实性幻觉 (Factual Hallucination)	声称某基金年化收益达35% (实际最高仅12%)	接入实时金融数据库, RAG增强知识检索 (Access real-time financial data, RAG enhances knowledge retrieval)
逻辑性幻觉 (Logical Hallucination)	推荐 “低风险高收益” 产品 (违反金融学原理)	添加规则引擎校验, 过滤矛盾表述 (Add rule engine verification, filter contradictory statements)
指令跟随偏差 (Instruction Following Deviation)	用户问A股行情, 却推荐港股ETF (User asks about A-shares, but recommends Hong Kong stock ETF)	强化SFT数据中的指令对齐能力 (Strengthen instruction alignment capabilities in SFT data)

如何做的召回？

大模型意图是如何做的？

1. 意图识别的定义与核心任务
2. 核心任务
   1. 分类问题：将用户输入映射到预定义的意图类别
   2. 关键难点:
      1. 语义多样性（同一意图的不同表达，如“我要退钱”和“怎么申请退款”）
      2. 短文本信息稀疏（例如用户输入“订单错了”需结合上下文明确是“修改订单”还是“取消订单”）.
3. 技术流程
   1. 数据准备与增强
   2. 模型选型与训练
      1. 预训练模型选择:
         BERT系列（适合短文本高精度场景，如客服对话）。
         GPT系列（适合长文本生成式意图识别，如邮件自动分类）。
      2. 微调（Fine-tuning）：
         1. 在领域数据上调整模型参数，添加分类层（全连接层+Softmax）
      3. 上下文建模：对对话场景，用长文本模型（如Longformer）或缓存历史对话状态。
   3. 部署与优化
      1. 通过模型蒸馏（如DistilBERT）或量化（FP32→INT8）降低推理延迟。
      2. 监控bad case，定期更新模型（如主动学习筛选高价值样本）。

如何保证大模型生成内容合格？

1. 技术层面：模型训练与部署的关键控制
   ● 数据清洗与预过滤
   训练阶段对原始数据进行严格清洗，使用关键词过滤、敏感词库匹配、NLP分类模型（如BERT）标注有害内容（暴力、歧视、违法信息等），确保训练数据合规。
   ● RLHF（人类反馈强化学习）
   通过人工标注合规样本，用强化学习调整模型输出倾向，让模型学习拒绝生成高风险内容。
   ● 合规性微调（Fine-tuning）
   基于本地法规和业务场景定制合规数据集（如中国《生成式AI服务管理暂行办法》），对模型进行二次微调
   ● 实时内容过滤（Post-processing）
   部署轻量级审核模型（如FastText、正则表达式规则引擎）对生成结果进行实时拦截，例如：
   ○ 敏感词匹配（动态更新词库）
   ○ 文本相似度检测（对比黑名单内容）
   ○ 图像/视频的NSFW（Not Safe For Work）识别
   ● 输出概率阈值控制
   对高风险类别（如政治、医疗建议）设置生成概率阈值，触发阈值时强制模型返回拒绝响应（如"该问题涉及敏感领域，我无法回答"）
2. 流程层面：构建审核闭环
   ● 多级审核机制
   ○ 第一层：实时API调用拦截（毫秒级响应）
   ○ 第二层：异步人工审核（针对高敏感场景如金融、医疗）
   ○ 第三层：用户举报反馈通道（如ChatGPT的"报告不良内容"功能）
   ● 可解释性工具
   使用Layer-wise Relevance Propagation（LRP）等技术追溯模型生成逻辑，定位违规内容的产生路径。
   ● 版本灰度发布
   新模型上线前通过A/B测试对比合规性指标（如违规率、误拦截率），避免系统性风险。。
3. 制度层面：合规体系搭建
   ● 法规映射（Regulatory Mapping）
   建立不同地区的合规矩阵（如欧盟GDPR、中国《算法推荐管理规定》），动态更新拦截策略。
   ● 权限分级控制
   根据用户身份（如未成年人、高风险地区IP）动态调整生成内容范围。
   ● 日志溯源与问责
   记录完整生成日志（包括prompt、模型版本、过滤结果），满足监管审计需求。
   ● 第三方审计
   引入专业机构进行红队测试（Red Teaming），模拟对抗性攻击验证系统健壮性。
4. 前沿技术补充
   ● 宪法式AI（Constitutional AI）
   通过显式规则（如"不得生成煽动种族仇恨的内容"）约束模型行为，而非仅依赖数据驱动。
   ● 数字水印（Watermarking）
   对AI生成内容添加隐形标识（如特定文本模式），便于后续追踪和鉴别。

模型微调是如何评估的？

1. 明确评估目标
   • 是提升模型在特定任务的性能？优化推理速度？还是解决领域适应性问题？不同的目标对应不同的评估方法。
2. 技术指标评估
   • 基础指标：
     • 训练损失：观察模型在训练集上的损失是否收敛 若持续下降且稳定 说明了模型学习了训练数据。
     • 验证损失：在独立验证集上检查损失 若验证损失与训练损失差距过大 可能出现过拟合。
     • 分类任务：准确率，精确率 召回率 F1-Score AUC-ROC曲线。
     • 生成任务：BLEU ROUGE METEOR（文本生成）；生成结果的流畅性 逻辑性等(人工评估)。
     • 回归任务：MSE MAE R2.
     • 困惑度：评估模型对测试数据的预测能力 值月底说明模型越适应任务。
   • 对比实验：
     • 与未微调的基线模型 在相同的测试集上对比性能提升。
     • 与其他微调方法(如lora 全参数微调) 或不同超参数组合的结果对比。
   • 过拟合/欠拟合分析
     • 检查训练集和验证集的指标差异（如训练Loss下降但验证Loss上升可能过拟合）
     • 通过交叉验证（Cross-Validation）或学习取消 判断模型泛化性
3. 业务场景适配性
   1. 领域相关指标
      1. 领域内测试
      2. 跨领域泛化
   2. 业务KPI
      1. 如果微调目标是提升用户转化率 通过A测试对比微调前后的业务指标（如点存率 留存率等）。
   3. 人工评估
      1. 邀请领域专家或用户对模型进行主观的评分（相关性 专业性 流畅性 准确性 多样性）
      2. 下游任务表现
         1. 将微调后的模型嵌入实际业务流 测试端到端效果
         2. 列如：客服场景中统计问题解决率 用户满意度
         3. 代码生成检查代码通过率或编译成功率
4. 效率与稳定性
   1. 微调后的模型响应时间是否满足业务要求
   2. 显存占用 模型体积是否适配环境
   3. 输出稳定性 多次输入相同问 输出是否一致
5. 长期监控与迭代
   1. 在线监控监控
   2. 数据漂移检测

质检相关质检点

1. 关键词质检
2. 录音属性质检
3. 质检模型质检
4. 语义质检
5. 大模型质检

质检统计分析

1. 话术质量分析
2. 业务热点分析
3. 重复来电分析
4. 客户画像分析
5. 舆情分析
6. 自定义主题分析

AIGC 内容审核

营销风控

1. 褥羊毛识别
2. 机器刷量识别
3. 虚假裂变行为识别
4. 欺诈团伙识别
5. 设备风险识别
6. 账号风险识别
7. 刷榜刷单防护
   1. 二维码抽奖
   2. 数字藏品
   3. 促销/秒杀
   4. 刷榜刷单
   5. 获客拉新

业务痛点

1. 在AIGC多场景，多模态下，平台用户输入信息及平台模型生成信息中存在大量色情，涉政，暴力，违禁等风险内容。

场景

1. AI 对话  （问答 翻译 编程）
2. AI 绘画  （文生图 图生图）
3. AI 创作  （文章扩写）
4. AI 音乐  （音乐生成）
5. AI 视频  （视频动画）
6. AI 表格  （表格与数据统计）

业务风险

1. 审核量巨大 （生成内容速度快）
2. 违规类型不可预测 （违规类型可能是全新的）
3. 审核时效性要求高
4. 专业度高甄别难度大
5. 提示词注入攻击 直接注入或者间接注入
6. 用户提问的分类处置 （对query做分类处置）
7. 长文本的复杂语义理解 （拥有更长更复杂的上下文关系）
8. 突发舆情的应对 （对突发舆情防范时效性差）、

方案运营阶段

1. 数据准备 模型预训练  
   - 专有语料安全筛选
   - 安全增强
2. 模型备案
   1. 备案政策流程咨询
   2. 评估测试集
   3. 关键词库
   4. 备案迎检服务
3. 模型评测阶段
   1. 大模型评测
      1. 针对业务场景 提供敏感测试题集 提示词注入攻击 目标劫持等方式进行大模型安全能力评测
   2. 评测方案整改
4. 上线运营
   1. 用户提问分类
   2. rag可信知识库
   3. 长文本/复杂语义处理
   4. 突发舆情布控服务

语音产品方案架构

1. 模型管理
2. 内容管理
3. 风险报表
4. 模型策略体系
   1. 决策引擎
   2. 模型引擎
   3. 画像引擎
   4. 实时统计引擎

语音质检产品功能

1. 涉政语音检查
2. 国歌识别
3. 色情语音检测
4. 违规语音
5. 辱骂语音
6. 垃圾广告
7. 姣喘语音检测
8. 多语种识别
9. 多民族语言检查

应用场景

1. 在线教育
2. 语音直播间
3. 视频直播间
4. 社交语音消息
5. 语音广场
6. 录播音频文件
7. FM 电台