一次搞懂大模型备案的语料要求

语料安全是大模型备案的重要一环。根据大模型备案文件《生成式人工智能服务安全基本要求》及相关备案流程规定，大模型备案的语料要求主要涵盖语料来源合法性、安全评估、标注规范、风险控制等多个维度。以下是核心要求的总结：

一、语料来源合法性
分类管理：需明确语料来源分为开源语料、自采语料、商业语料，并分别满足合规要求。还要告知各类语料规模及所占比重。
1、开源语料：需提供开源许可协议或授权文件，重点关注Robots协议及个人信息的拒绝授权声明。
2、自采语料：需保留采集记录，禁止采集他人明确禁止的语料。
3、商业语料：需具备法律效力的交易合同，并要求合作方提供语料来源、质量及安全的证明材料。

二、安全评估与核验
违法不良信息控制：
1、采集前评估中，若违法不良信息占比超过5%，则该来源不得使用；采集后核验中若超过5%，需废弃该批次语料。
2、需采用人工抽检（不少于4000条，合格率≥96%）和技术抽检（如关键词、分类模型，抽检量≥10%，合格率≥98%）双重验证。

三、不良语料类型规避
分类与覆盖：需严格规避《生成式人工智能服务安全基本要求》附录A中定义的5类31种不良语料，包括政治敏感、色情暴力、虚假信息等。
特殊场景要求：如医疗、金融类服务需额外防范非专业建议或误导性内容。

四、标注规范与核验
标注人员管理：需明确标注人员数量、类型（内部/外包）、培训时长及内容，确保标注流程规范。
标注规则：需依据法规制定标注细则，并核验标注准确性（人工核验比例需明确）。

五、持续监控与更新
动态过滤机制：需通过关键词库（覆盖17种安全风险，总规模≥1万条，每类风险关键词≥200/100个）、分类模型及人工抽检，持续过滤违法不良信息。
语料更新管理：在模型迭代或新增语料时，需重新进行安全评估。

六、测试题库与评估
测试题集要求：需准备生成内容测试题库（≥2000题）、应拒答测试题库（≥500题）及非拒答测试题库（≥500题），并确保测试覆盖所有安全风险类型。
评估标准：生成内容合格率≥90%，拒答率≥95%（应拒答场景）及≤5%（非拒答场景）。

七、备案材料准备
需提交《语料安全评估报告》、《语料标注规则》、《拦截关键词列表》等文件，确保内容详实且符合格式要求。

总结
大模型备案的语料管理需从源头到应用全链条合规，重点关注合法性证明、动态风险评估及持续监控机制。企业需结合《生成式人工智能服务安全基本要求》细化内部流程，并提前准备测试题库及评估材料以应对备案审查。更多实操细节可参考《生成式人工智能服务管理暂行办法》及属地网信办的具体要求