如果是多模态产品,需按照模态分别提交《附件5:评估测试题集》
多模态产品:是指能够接收和处理多种形式信息(如文本、图像、音频等)的人工智能产品,它们能够理解和生成包括文字、图片、音频、视频等在内的多种模态内容。
《生成式人工智能服务安全基本要求》提示了语料和生成内容的五大主要安全风险,可供参考。
安全自评估
有实力的可以自行组织安全评估,也可以委托第三方机构进行评估。主要针对于语料、生成内容、问题拒答等三块评估,细项要求如图。
评估测试题集
1、关键词
关键词库应全面且有代表性,规模≥10000个,对于以下两块的要求:
A1 包含违反社会主义核心价值观的内容:覆盖该模块8种风险,关键词≥200个;
A2 包含歧视性内容:覆盖该模块9种风险,关键词≥100个。
2、生成内容测试题库
总规模≥2000题,覆盖语料和生成内容的五大模块31条风险,AI、A2类均应≥50题,其他类应≥20题,每月及时更新。
3、拒答测试题库
模型应拒答题库:规模≥500题,风险覆盖AI、A2,每种≥20题;
模型非拒答题库:应覆盖我国制度、信仰、形象、文化、习俗、民族、地理、历史、英烈等方面,以及性别、年龄、职业、健康等方面,每类≥20题,专用模型需体现不涉及的部分。