基于SageMaker AI的教育内容过滤系统架构解析

背景

某教育科技机构是全球领先的K-12教育云软件提供商，服务覆盖90多个国家的超过6000万学生。随着其AI助手PowerBuddy:trade_mark:的推出，一个关键挑战随之而来：需要实现一种足够复杂的内容过滤系统，以区分教育环境中的合法学术讨论与有害内容。

内容过滤的必要性

学生安全是最优先事项。国家数据显示，约20%的12-17岁学生遭受过欺凌，16%的高中生报告曾认真考虑过自杀。因此，需要一个能智能区分合法学术询问与有害内容（如欺凌、自残、仇恨言论、不当性内容、暴力等）的过滤系统，同时避免误判学术讨论（如关于二战或大屠杀的教学内容）。

解决方案选择

在评估了多家允许模型定制和微调的AI提供商与云服务后，选择了某中心的SageMaker AI平台。关键要求包括：平台稳定性、自动扩缩容能力、对微调后模型权重的控制、增量训练能力、成本效益、细粒度控制与透明度以及成熟的托管服务。

解决方案概述

内容过滤系统架构包含以下几个关键组件：

• 数据准备管道：

  • 针对教育环境策划的安全与不安全内容示例数据集。
  • 数据预处理和增强以确保模型训练的鲁棒性。
  • 数据安全存储在某中心S3存储桶中，并经过适当加密和访问控制。所有训练数据均已完全匿名化，不含个人身份信息。

• 模型训练基础设施：

  • 使用SageMaker训练任务来微调Llama 3.1 8B模型。

• 推理架构：

  • 部署在配置了自动扩缩容的SageMaker托管端点上。
  • 通过某中心API网关与AI助手集成，实现实时内容过滤。
  • 通过某中心CloudWatch进行监控和日志记录，以持续评估质量。

• 持续改进循环：

  • 收集误报/漏报的反馈机制。
  • 安排定期的重新训练周期，以纳入新数据并提升性能。
  • 建立A/B测试框架，以便在全面部署前评估模型改进。

开发过程

决定使用某中心SageMaker JumpStart对Llama 3.1 8B模型进行微调，这显著加速了开发进程。该平台提供了预配置的环境和针对基础模型微调的优化超参数。

通过在某中心SageMaker AI训练任务上使用低秩适应（LoRA）技术对模型进行微调，从而保持了对训练过程的完全控制。微调完成后，模型被部署到SageMaker AI托管端点，并集成为AI助手架构中的一个关键安全组件。

对于生产部署，选择了ml.g5.12xlarge实例上可用的NVIDIA A10G GPU，这为模型规模提供了性能与成本效益的理想平衡。

技术实现

以下是基于预处理数据集微调模型的代码片段。指令调优数据集首先被转换为领域适应数据集格式，脚本利用完全分片数据并行（FSDP）以及低秩适应（LoRA）方法进行模型微调。

首先定义一个估算器对象。默认情况下，这些模型通过领域适应进行训练，因此必须通过将 instruction_tuned 超参数设置为 True 来指示进行指令调优。

estimator = JumpStartEstimator(
    model_id=model_id,
    environment={"accept_eula": "true"},
    disable_output_compression=True,
    hyperparameters={
        "instruction_tuned": "True",
        "epoch": "5",
        "max_input_length": "1024",
        "chat_dataset": "False"
    },
    sagemaker_session=session,
    base_job_name = "CF-M-0219251"
)

定义估算器后，即可开始训练：

estimator.fit({"training": train_data_location})

训练完成后，使用存储在S3中的工件创建模型，并将模型部署到实时端点进行评估。使用涵盖关键场景的测试数据集测试模型，以验证性能和表现。计算了召回率、F1分数、混淆矩阵并检查了误分类情况。如有需要，则调整超参数/提示模板并重新训练；否则继续进行生产部署。

您也可以在SageMaker示例中查看在SageMaker JumpStart上微调Llama 3模型的示例笔记。

使用了某中心SageMaker实时端点的更快速自动扩缩容笔记来在SageMaker AI端点上设置自动扩缩容。

解决方案验证

为验证内容过滤解决方案，从多个维度进行了广泛测试：

• 准确性测试： 在内部验证测试中，该模型在识别代表各种不当形式的有害内容的多样化测试集上，达到了约93%的准确率。
• 误报分析： 努力将合法教育内容被错误标记为有害的情况降至最低，在测试环境中实现了低于3.75%的误报率；实际结果可能因学校环境而异。
• 性能测试： 解决方案保持了平均1.5秒的响应时间。即使在模拟真实课堂环境的峰值使用期间，系统也持续提供无缝的用户体验，未出现交易失败。
• 可扩展性和可靠性验证：
  • 全面的负载测试实现了100%的交易成功率，性能分布稳定，验证了系统在持续教育工作负载条件下的可靠性。
  • 交易成功完成，未出现性能或准确性下降，证明了系统能有效扩展以适应课堂规模的并发使用场景。
• 生产部署： 向选定学校组的初步推出显示，其在真实教育环境中性能表现一致。
• 学生安全成果： 学校报告显示，与没有专门内容过滤的其他AI系统相比，AI助手中报告的欺凌或不适当内容生成事件显著减少。

微调模型与开箱即用解决方案的指标对比

微调后的内容过滤模型在关键安全指标上表现出比通用的开箱即用过滤解决方案更高的性能。它实现了更高的准确率（0.93对比0.89），以及安全类（0.95对比0.91）和不安全类（0.90对比0.87）更好的F1分数。微调模型在精确率和召回率之间也表现出更平衡的权衡，表明跨类别性能更一致。重要的是，在160个测试用例中，它仅将6个安全案例误分类为不安全，而原始方案误报了19个，这在安全敏感型应用中是一个显著优势。总体而言，微调的内容过滤模型被证明更可靠、更有效。

未来计划

随着AI助手套件的发展并被集成到其他产品中，内容过滤模型将通过针对其他有特定需求的产品进行微调而不断适应和改进。

计划在可行性和合规性考虑的前提下，利用SageMaker AI多适配器推理功能，与内容过滤模型一起部署额外的专用适配器。其思路是针对特定问题解决场景部署微调的小型语言模型（SLM），在这些场景中，大型语言模型（LLM）庞大且通用，无法满足更狭窄问题领域的需求。例如：

• 针对教育领域的决策制定智能体。
• 在文本到SQL查询情况下的数据领域识别。

这种方法将通过消除对单独模型部署的需求，同时保持每个适配器的专用性能，从而实现显著的成本节约。

结论

在某中心SageMaker AI上实施专门的内容过滤系统，极大地提升了某教育科技机构在教育环境中提供安全AI体验的能力。通过建立强大的防护栏，解决了教育工作者和家长对将AI引入课堂的主要担忧之一，有助于确保学生安全。

某机构首席产品官表示：“我们现在追踪到大约500个学区已经购买或激活了AI助手包含的功能，覆盖了大约420万学生。我们的内容过滤技术确保学生能够从AI驱动的学习支持中受益，而不会暴露于有害内容，为学术成长和探索创造了一个安全的空间。”

其影响超越了仅仅阻止有害内容。通过建立对AI系统的信任，学校得以将AI助手视为有价值的教育工具。教师报告称，他们花费在监控学生与技术互动上的时间减少了，而花在个性化教学上的时间更多了。学生受益于24/7的学习支持，同时避免了原本可能伴随AI访问而来的风险。

对于需要领域特定安全防护栏的组织，可以考虑如何调整SageMaker AI的微调功能和托管端点以适应您的用例。

随着继续利用SageMaker的多适配器推理功能扩展AI助手的能力，某机构仍然致力于在教育创新与学生安全之间保持完美平衡，确保AI成为家长、教师和学生可以信赖的教育积极力量。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码