增加应自行组织对于标注人员的安全培训,培训内容应包括标注任务规则、标注工具使用方法、标注内容质量核验方法、标注数据安全管理要求等。
应对标注人员进行考核,给予合格者标注上岗资格,有定期重新培训考核以及必要时暂停或取消标注上岗资格的机制。目前标注工作大部分为代工,如果委托他人进行标注,建议对被委托人的考核由委托人实施,并说明考核内容。
应将标注人员职能至少划分为数据标注、数据审核,针对同一标注任务,同一标注人员不应承担多项职能。
标注人员执行每项标注任务预留充足、合理的标注时间。任务和时间安排应当合理,前后的逻辑应当真实,审核时会判断。
标注规则应至少包括标注目标、数据格式、标注方法、质量指标等内容。
应对功能性标注以及安全性标注分别制定标注规则,标注规则应至少覆盖数据标注以及数据审核等环节。
功能性标注规则应能指导标注人员按照特定领域特点生产具备真实性、准确性、客观性、多样性的标注语料。
安全性标注规则应能指导标注人员围绕语料及生成内容的主要安全风险进行标注,对附录A中的全部31种安全风险均应有对应的标注规则。
对功能性标注,应对每一批标注语料进行人工抽检,发现内容不准确的,应重新标注;发现内容中包含违法不良信息的,该批次标注语料应作废。文件未对批次的规模和计算方式进行明确。
对安全性标注,每一条标注语料至少经由一名审核人员审核通过。
tip:
建议针对安全内容,至少存在一次复审。
增加宜对安全性标注数据进行隔离存储。
模型安全要求
服务提供者如使用基础模型进行研发,应使用已经主管部门备案(这里指的是大模型上线备案)的基础模型:
境内大模型基座已经成熟,不宜直接描述境外开源模型进行研发。
不得基于境外模型服务进行研发。
模型生成内容安全方面:
在训练过程中,应将生成内容安全性作为评价生成结果优劣的主要考虑指标之一。
在每次对话中,应对使用者输入信息进行安全性检测,引导模型生成积极正向内容。
tip:应注意谨防用户输入不恰当内容。
增加应建立常态化监测测评手段。对提供服务过程中以及定期检测时发现的安全问题,及时处置(新增)并通过针对性的指令微调、强化学习等方式优化模型。