
从实验室里的技术好奇,到如今企业技术栈中的核心引擎,生成式AI(GenAI)的普及速度超出了很多人的预期。它能按需生成文本、代码、图像和洞察的能力,让无数员工得以突破工作复杂度的瓶颈,大幅提升生产效率。但在这份创新与效率的背后,企业正面临着前所未有的安全风险挑战。
近期与各行业高管和AI治理负责人的交流中,一个核心议题反复出现:数据安全已从AI战略中的重要考量,转变为决定AI落地成败的关键挑战。与传统软件甚至前几波机器学习技术不同,生成式AI从根本上重构了企业内部的数据安全逻辑。麻省理工学院的两项研究为此提供了佐证:95%的企业生成式AI试点项目以失败告终,并非技术本身存在缺陷,而是企业缺乏适配的治理与安全框架;同时,数据安全被企业领导者列为阻碍AI快速落地的首要业务与安全风险。此外,员工未经授权使用公共AI工具的“影子AI”现象,正成为企业数据风险失控的重要推手。
在传统安全架构中,“最小权限访问”是被广泛认可的安全模型——无论是用户、程序还是流程,仅被授予完成合法功能所需的最低权限。但生成式AI的出现,彻底颠覆了这一范式:最小权限原则反而成为了制约AI发挥效能的障碍。企业级生成式AI工具的特性决定了,其获取的业务数据与上下文信息越丰富,能带来的生产力提升就越显著。
随着生成式AI落地加速,用户对其应用场景的探索大多源于自发的实验与好奇,而非自上而下的业务规划。当企业无法明确AI的具体任务边界,也无法定义其所需访问的数据类型时,设置最小权限访问策略就成了空谈。更棘手的是,即便用户合法拥有某数据集的访问权限,并将其作为输入提供给AI工具,一旦数据被AI模型吸收,就不再受限于用户原本的权限。这些数据可能被整合进模型训练、出现在未来的输出结果中,甚至被使用同一工具的其他用户获取。由于生成式AI并不必然继承数据原有的访问控制机制,最小权限原则在AI场景下几乎无法执行。
生成式AI带来的安全暴露风险体现在多个相互关联的维度,共同扩大了企业的数据治理与安全复杂度。
首先是输入泄露问题。生成式AI能以原始形式摄取文本、图像、音频、视频和结构化数据,而员工只需极低的技术门槛就能引导AI工具访问新的数据集。与传统系统中经过精心整理、拥有明确模式和关系的结构化表格不同,这些数据集可能包含销售通话录音、CRM邮件记录、客户服务对话等非结构化数据。在实际操作中,员工常常会在提示词中输入高度敏感的业务信息,包括客户个人身份信息(PII)、知识产权、财务预测甚至源代码。
其次是输出暴露风险。生成式模型不仅是信息的消费者,更是信息的合成者。一个看似普通的提示词,可能会在不经意间跨数据集提取洞察,并将其暴露给未获相应权限的用户。更值得警惕的是,AI输出可能出现“幻觉”——生成看似合理的内容,却混杂着真实的敏感训练数据片段。
为了让AI工具更好地完成任务,用户往往会创建包含详细业务上下文、内部流程等信息的提示词,这些新生成的信息本身就可能包含敏感或关键业务数据。而生成式AI在吸收现有信息的同时,也将这些额外的上下文纳入了处理范围。
第三是无监督的可访问性风险。传统企业系统需要经过供应商接入和IT配置流程,而如今生成式AI已无处不在——嵌入在微软Office套件、浏览器、聊天工具和SaaS平台中。员工可以即时使用这些AI功能,完全绕过企业的治理流程。这种无摩擦的访问体验助长了“影子AI”的蔓延,每一次未经授权的AI使用,都可能成为一次隐形的大规模数据泄露事件。
第四是二级供应链风险。企业合作的供应商看似安全可靠,但这些供应商往往依赖云服务商、数据标注机构或第三方AI实验室等分包商,而每个分包商都有自己的最终用户许可协议(EULA)和政策。敏感的企业数据可能在多个未知环节流转,但最终的责任仍由企业承担。例如,某企业可能已完成对供应商的合规审查,但该供应商后续使用的生成式AI工具可能将企业数据用作训练数据,从而引发一系列连锁风险。
第五是训练数据治理缺口。一旦数据进入AI模型,企业就基本失去了对其的控制。企业无法轻松撤回或管控这些信息的使用方式,专有知识可能在数据源被遗忘后,仍持续存在于模型中并出现在输出结果中。目前尚未有生成式AI工具能像GDPR或CCPA等隐私法规要求的那样,支持数据删除请求,而这类机制的落地可能需要监管政策的推动。
最后是应用代码风险。AI正越来越多地参与业务系统底层代码的编写。开发者使用如Microsoft Copilot等AI工具生成代码时,可能在不知情的情况下引入不安全的依赖、传播漏洞,或嵌入存在开源许可证冲突的代码。这些问题一旦部署上线,就会成为软件供应链中的潜在弱点。
生成式AI已经深度嵌入企业工作流,对企业而言,问题不再是是否要采用AI,而是如何负责任地落地AI。缺乏治理的AI落地可能导致代价高昂的数据泄露、监管处罚和声誉损失,但完全禁止AI使用只会迫使员工转向未经授权的解决方案。唯一可行的路径是,在可见性与可控性的框架下推动AI落地。
生成式AI治理需要基于上下文的可见性,不仅要了解企业拥有哪些数据、数据存储在哪里、谁有权访问,还要掌握AI的具体使用方式。企业需要能够监控员工访问了哪些AI工具、输入了哪些提示词,以及敏感数据是否流出了企业环境。在此基础上,才能应用相应的管控措施:实时监控提示词与输出结果、标记高风险会话或异常数据流、阻止未经授权的工具使用、在敏感提示词流出前进行过滤、对输入提示词中的敏感数据进行去标识化,以及对AI生成的洞察实施基于角色的访问限制。
生成式AI为企业带来了全新的风险维度,也创造了前所未有的机遇。管理AI风险需要转变思维:安全并非创新的阻碍,而是让创新得以安全落地的基石。
原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/sheng-cheng-shi-ai-kuai-su-luo-di-bei-hou-qi-ye-bi-xu-zhi