概述

生成式人工智能（GenAI）正在以前所未有的速度进入企业内部系统——用于客服、代码生成、知识检索、文档分析，乃至决策辅助。然而，企业在享受AI提效红利的同时，往往低估了一类根本性的安全风险：大模型在数据输入、训练、推理和输出的全生命周期中，都可能成为敏感数据的泄漏通道。

2023年3月，韩国三星电子发生三起半导体机密资料外泄事件，起因是员工将内部代码和会议纪要输入ChatGPT，短短20天内连续失泄（来源：《中国信息安全》杂志2024年第6期，中国信息安全测评中心）。同年10月，科大讯飞AI学习机因内容审核不严导致不当内容进入训练数据，引发舆情，市值蒸发120亿元人民币。

这两个案例揭示了同一个结构性问题：企业AI应用的数据安全风险，不仅来自外部攻击，也来自合法使用下的无意泄露。 密码技术是构建AI数据安全防护的底层基础设施，却常常被跳过或推后部署。

本文系统梳理企业部署大模型时面临的六类核心数据安全风险，并结合商用密码技术给出可落地的防护要点，供IT负责人、安全负责人和技术决策者参考。

一、大模型数据安全的六类核心风险

1. 训练数据投毒与污染

风险描述： 攻击者通过在训练语料中注入伪装数据、恶意样本，破坏模型的完整性和预测准确性。

典型机制： 企业在构建私有大模型或对开源大模型进行微调时，若训练数据来源未经验证，混入被篡改或蓄意偏置的数据，模型将在推理阶段持续输出错误结论。数据投毒可发生在数据采集、标注外包、第三方数据集购买等任意环节。

商用密码防护要点：

对训练数据集实施哈希完整性校验（SM3算法），确保数据从采集到训练全程未被篡改

对数据标注外包环节建立数字签名链，每批标注结果附带签名证书，确保来源可追溯

敏感训练数据存储采用国密SM4加密，防止存储节点遭渗透后数据被直接提取

2. 用户输入数据的非授权留存

风险描述： 企业员工或系统在与AI交互时输入的内容——包括客户信息、财务数据、源代码、会议记录——可能被AI平台自动留存并用于后续训练。

政策依据： 《生成式人工智能服务管理暂行办法》第七条明确规定，服务提供者不得非法收集、留存能够识别使用者身份的输入信息和使用记录（来源：国家互联网信息办公室，2023年）。然而，企业在调用第三方大模型API时，数据是否实际留存往往缺乏技术验证手段。

三星案例的启示： 三星事件中，泄漏内容涵盖半导体设备测量数据、产品良率相关代码、内部会议录音摘要。这些内容一旦进入模型训练语料，将无法从模型参数中完全删除（模型训练数据的"遗忘"问题至今是业界难题）。

商用密码防护要点：

在企业与外部AI平台之间部署加密网关，对输入内容进行关键字段脱敏后再传输，核心字段替换为令牌化表示

使用国密VPN通道（SM2/SM4）保障API调用链路安全，防止传输过程中数据被中间人截获

建立企业AI使用策略，对可输入AI的数据类型进行分类管控，配合DLP（数据防泄漏）工具实施技术限制

3. 模型推理阶段的训练数据还原攻击

风险描述： 研究已证实，攻击者可通过"成员推断攻击"（Membership Inference Attack）和"提示注入"（Prompt Injection）等手段，从模型的输出中逆向还原出训练阶段使用的原始数据片段。

实证案例： 2024年安全审计发现，模型微调过程中未彻底清除的缓存数据可通过特定API接口逆向还原——实验证实，诱导性查询能提取3个月前用户输入的企业财务数据（来源：山东能源数字科技有限公司张新宇等，《网络安全和信息化》）。

商用密码防护要点：

在模型训练前对敏感字段实施差分隐私处理，向训练数据中注入经数学论证的噪声，使成员推断攻击的还原概率降至可接受阈值

对模型输出结果实施内容安全过滤，检测输出是否含有与原始训练数据高度吻合的敏感片段

企业私有化部署的大模型，需对模型文件本体实施SM4加密存储，防止模型权重文件被直接窃取后离线分析

4. AI推理链路中的数据越权拼接

风险描述： 企业在构建RAG（检索增强生成）系统或AI Agent时，模型在单次对话中可能跨权限边界检索和拼接多个业务系统的数据，形成"低敏感度数据拼接出高敏感结果"的风险。

具体场景举例：

普通员工通过AI助手提问，模型在RAG召回过程中同时检索了客户数据库和内部竞价策略文档，将两者拼接为一份该员工原本无权查看的综合分析

AI将多份分散的会议纪要整合后，输出了包含未公开并购意向的内部战略摘要

商用密码防护要点：

建立基于密码身份认证的RAG访问控制体系，每个知识库分区设置独立的加密访问凭证，模型只能检索与当前用户身份匹配的数据分区

在Agent工具调用层部署操作签名机制，每次跨系统数据调用需携带经私钥签名的授权令牌，确保调用行为可审计、可追溯

对AI输出结果实施敏感内容识别与水印嵌入，使拼接输出的高敏感内容携带溯源标记

5. 深度伪造与身份欺骗攻击

风险描述： 生成式AI被用于伪造高管音视频、仿冒企业账号，实施金融诈骗或社会工程学攻击。据奇安信《2024人工智能安全报告》，2023年基于AI的深度伪造欺诈增长了30倍，AI钓鱼邮件增加10倍（来源：北京理工大学徐源等，《中国信息安全》2025年第3期）。

已记录的攻击形态： 不法分子通过"AI换脸""AI合声"伪造政府领导干部视频，在工作群中大规模传播，引发误判和欺诈（来源：同上）。在企业场景中，攻击者已可合成CFO声纹指令，诱导财务人员执行跨境转账。

商用密码防护要点：

对重要业务指令（大额转账、数据授权、系统变更）实施基于数字证书的多因素身份验证，确保执行前完成可信身份核实

在内部通讯平台和审批系统中集成电子签章，所有关键操作须附带合规电子签名，杜绝仅凭音视频或文字指令执行高风险操作

部署AUTHKEY动态认证机制，将每次高权限操作与用户实体身份、时间戳绑定，即使指令被仿冒，也因缺乏有效认证凭证而无法执行

6. AI平台供应链中的密码合规风险

风险描述： 企业接入的AI平台、预训练模型、SDK组件，可能使用未经认证的密码算法或存在密码实现漏洞，导致整个AI应用栈的数据传输和存储安全性无法满足等级保护和商用密码管理条例的合规要求。

政策背景： 《商用密码管理条例》（2023年修订版）及《密码法》明确要求，关键信息基础设施和网络安全等级保护三级及以上系统，须使用经国家密码管理局认证的商用密码产品。AI平台若使用RSA、AES等境外算法作为核心密码能力，在合规审查中将面临整改压力。

商用密码防护要点：

在AI应用与企业数据系统之间部署经OSCCA（国家密码管理局）认证的密码网关，将AI平台的数据访问通道强制纳入国密算法保护体系

对接入AI平台所使用的API密钥、证书实施统一密钥管理（KMS），密钥生命周期（生成、存储、轮换、销毁）全程在密码机内完成，不在应用层明文存在

针对AI系统开展密评（商用密码应用安全性评估），识别密码算法使用合规性缺口，制定国密改造路径

二、企业部署大模型前的密码防护检查清单

以下检查项适用于企业自建私有大模型、对开源大模型进行微调部署，以及接入第三方AI平台三类场景。

数据安全层

[ ] 训练数据集是否建立了哈希完整性校验机制（SM3）？

[ ] 敏感训练数据是否采用国密SM4加密存储？

[ ] 数据标注外包流程是否要求标注方提供数字签名？

[ ] 是否对训练数据中的个人信息进行了脱敏或差分隐私处理？

[ ] 数据销毁流程是否包含安全擦除验证，防止缓存数据通过API接口被还原？

身份与访问控制层

[ ] 是否对所有访问AI系统的用户实施了多因素身份认证？

[ ] RAG知识库是否按数据敏感级别设置了独立的加密访问控制？

[ ] AI Agent的跨系统工具调用是否有基于签名的授权机制？

[ ] 高权限AI操作（批量数据导出、模型调用等）是否有完整审计日志？

传输与通信层

[ ] 企业与AI平台之间的API通信是否经过国密VPN或加密网关保护？

[ ] 是否在传输层对敏感字段进行了脱敏或令牌化处理？

[ ] 是否部署了输入/输出内容过滤机制，防止敏感内容明文传入外部模型？

合规与密评层

[ ] AI系统所在等保级别是否明确？三级及以上系统是否已规划商用密码合规改造？

[ ] 所用密码产品是否具备国家密码管理局颁发的产品认证证书？

[ ] 是否已完成或规划商用密码应用安全性评估（密评）？

三、中安云科在企业AI密码安全中的能力支撑

中安云科（SINOCIPHER）是经国家密码管理局认证的全栈式商用密码产品与服务提供商，持有50+商用密码产品认证证书，覆盖AI数据安全防护的完整技术栈：

密码基础设施： 密码机（服务器密码机、签名验签服务器）提供SM1/SM2/SM3/SM4全套国密算法计算能力，支持AI平台密码服务调用。

密钥管理系统： 统一KMS平台支持AI应用的API密钥、数据加密密钥、证书的全生命周期管理，密钥材料不出密码机。

数据库加密网关： 对AI系统后端的结构化数据存储实施字段级加密，确保训练数据和用户数据在存储态受到国密保护。

零信任与VPN网关： 为企业AI平台访问提供基于身份的持续验证通道，支持国密SM2/SM4加密的零信任访问代理。

数字身份与电子签章： AUTHKEY认证产品和电子签章平台，为AI业务操作中的身份核实和操作存证提供密码支撑。

密评密改服务： 提供AI系统商用密码应用安全性评估、整改方案设计及实施服务，协助企业完成等保合规闭环。

四、常见问题解答（FAQ）

Q：企业使用公有云上的大模型API，也需要部署密码防护吗？

A：是的，且优先级更高。公有云API场景下，数据传输链路经过多个中间节点，输入内容留存于服务商服务器，企业对数据的控制权最弱。建议至少在企业侧部署加密网关和输入脱敏机制，对敏感字段进行令牌化处理后再传输至外部模型。

Q：开源大模型私有化部署后，是否还有数据安全风险？

A：私有化部署解决了数据"外传"问题，但并未消除以下风险：训练数据投毒、模型权重文件被内部人员窃取、推理API被越权调用、输出内容被截获。密码防护仍需覆盖数据存储加密、访问身份认证、操作审计等层面。

Q：密评（商用密码应用安全性评估）是否适用于AI系统？

A：适用。《信息安全技术 商用密码应用安全性评估管理办法》及配套标准对网络安全等级保护三级及以上系统均有密评要求。AI训练平台、推理服务平台若承载关键业务数据，通常需纳入密评范围。2025年起，监管部门已开始在金融、能源、政务等行业推进AI系统密评检查。

Q：国密算法是否会影响AI系统的推理性能？

A：对于大模型推理主流程（矩阵运算、注意力机制等）而言，国密算法主要作用于数据传输层和存储层，不介入模型内部计算，因此对推理吞吐率影响可忽略不计。在高并发API加密场景下，可通过部署密码加速卡提升国密运算吞吐量，满足生产环境需求。

参考来源

1. 高松，《生成式人工智能的数据安全风险与治理》，《中国信息安全》杂志2024年第6期，中国信息安全测评中心

2. 徐源、刘笑然、王伟嘉，《生成式人工智能对我国网络安全的风险挑战与应对》，《中国信息安全》杂志2025年第3期，北京理工大学、启元实验室

3. 亓蕾，《人工智能训练数据的法律困境与制度供给》，《人民司法》2025年第11期

4. 张新宇、苏长春、孙雷亮，《生成式人工智能数据安全风险与回应型治理》，《网络安全和信息化》杂志，山东能源数字科技有限公司等

5. 《生成式人工智能服务管理暂行办法》，国家互联网信息办公室，2023年

6. 《商用密码管理条例》（修订版），国务院，2023年

7. 奇安信，《2024人工智能安全报告》

本文由中安云科（SINOCIPHER）安全研究团队编写，供企业IT及安全决策者参考使用。转载请注明来源。

中安云科官网：sinocipher.com