大模型备案/算法备案介绍---生成式人工智能(大语言模型)安全评估要点

一、生成式人工智能(大语言模型)安全评估要点

1、语料安全评估

(一)评估内容

（1）文本训练语料规模

训练语料存储规模，按文本格式存储时的语料大小。

训练语料数量，按词元 (Token) 计数。

（2）各类型语料规模

训练语料中的中文文本、英文文本、代码、图片、音频、

视频及其他语料的规模。

（3）训练语料来源

训练语料来源的组成情况，按照开源语料、自采语料、商业语料进行分类。

境外开源网站语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。

自采语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。

商业语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。

（4）语料标注数量

语料标注的数量，仅限文本和图片，按标注单元计数，

通常按条数、张数。

（5）标注人员情况

标注人员的数量，标注人员的类型，通常包括内部、外包。

标注人员培训时间、培训数量等情况。

（6）标注规则

按照《生成式人工智能服务管理暂行办法》第四条要求制定的标注规则。

（7）标注内容准确性核验

标注内容准确性人工核验比例。

（8）语料合法性

语料来源合法性情况。

语料是否包含侵害他人知识产权内容。

语料是否包含违法违规的个人信息内容。

(二)评估结论

评估结论应包括以下内容：

（1）语料是否符合《生成式人工智能服务管理暂行办法》相关规定，是否含有违反我国法律法规明确禁止的内容。

（2）语料中包含个人信息语料的数量、种类，是否符合《生成式人工智能服务管理暂行办法》规定。

（3）因语料产生知识产权纠纷的风险分析。

（4）防范语料安全风险的措施和建议。

2、模型安全评估

（1）语料内容评估

采用人工抽检，说明抽检数量与合格率。

采用关键词抽检，说明抽检数量与合格率。

采用分类模型抽检，说明抽检数量与合格率。

（2）生成内容评估

采用人工抽检，说明抽检数量与合格率。

采用关键词抽检，说明抽检数量与合格率。

采用分类模型抽检，说明抽检数量与合格率。

（3）涉知识产权、商业秘密的评估

评估方法、评判标准以及评估结果等。

（4）涉民族、信仰、性别等的评估

评估方法、评判标准以及评估结果等。

（5）涉透明性、准确性、可靠性等的评估

评估方法、评判标准以及评估结果等。

3、 安全措施评估

（1）模型适用人群、场合、用途

服务的适用人群，是否适用未成年人、学生等。

适用场合，是否适用关键信息基础设施、自动控制、医疗信息服务、心理咨询等。

服务范围，是否限定或未限定特定领域。

（2）服务过程中收集保存个人信息情况

服务过程中收集保存个人信息情况，包括个人信息的类型、数量、用途以及保存期限。

（3）收集个人信息征得个人同意情况

收集个人信息征得个人同意的方式。

（4）受理处理使用者查阅、复制、更正、补充、删除个人信息请求的情况

受理处理的条件以及途径方法。

（5）图片、视频标识情况

标识的样式，按1:1 比例贴入。

标识在图片、视频中的具体位置。

标识频度，如每帧、跳帧等。

（6）接受公众或使用者投诉举报情况

接受公众或使用者投诉举报的途径及反馈方式。

（7）服务协议情况

上述1至6内容是否已经写入模型服务协议。

（8）非法内容拦截措施

监看人员的数量。

预置关键词拦截情况，并提供预置关键词拦截列表。

分类模型的检测情况，说明分类模型研制情况和准确性。

（9）拒答率

拒绝回答或者以简单模板回答数量占总测试数量的比率。

（10）模型更新、升级

在何种情况下重新进行预训练，如较频繁发现生成非法