开源人工智能大模型安全风险与合规情况

在本次调研的开源人工智能大模型中，通过强化数据安全与保障模型安全以提升模型合规 能力。通过数据安全与模型安全，已初步构建开源人工智能大模型安全保障防线。

在数据安全方面，部分企业构建数据安全标注团队，标注并审核安全与合规相关的微调数据， 优化预训练数据质量，使用规则加模型的方法过滤大量不良信息。同时企业建立内容安全策略， 通过从应用到数据、框架、基础设施以及整个的合规体系的建设，以及关注数据投喂带来的价 值偏见、隐私泄露、数据污染、训练数据固有偏见导致模型产生偏见内容等问题。

在模型安全方面，企业建立安全一系列策略，如训练基于安全和合规的奖励模型，通过 RLHF 对齐大模型的价值观，约束至符合主流安全规定，采用机器审核与人工审核结合的模式对 用户输入的问题以及模型生成的答案进行审核，注重算法安全，针对涉底线的相关问题搭建了 分类检测模型。