当生成式AI的热潮逐渐褪去，企业开始将目光投向更具实用性的自主AI（Agentic AI）技术。这类能够自主执行任务、跨系统持续运作的智能体，正在成为企业提升运营效率的新引擎，但随之而来的安全与治理挑战也愈发凸显。Geordie AI联合创始人兼首席AI官Hanah-Marie Darley，凭借在美联邦政府情报领域近十年的经验，以及在Darktrace等企业的资深安全领导经历，为我们揭示了自主AI时代的安全治理逻辑。
### 从情报界到创业：填补信任与能力的鸿沟
Hanah-Marie Darley的职业生涯横跨政府情报与企业安全两大领域。在美联邦政府的十年间，她深度参与情报行动，积累了对复杂系统风险的敏锐洞察力；随后在Darktrace担任高级领导职务，让她得以将政府级别的安全思维应用于企业场景。这些经历让她发现了一个普遍存在的矛盾：企业在AI技术上投入巨大，但对AI系统实际行为的信任度却远远跟不上投资回报的预期。
当AI从实验工具转向业务运营核心，尤其是自主AI智能体的出现，这一信任缺口被进一步放大。与传统软件不同，自主AI具备自主决策能力，能够跨系统持续运作，其行为模式充满不确定性。企业迫切需要一种方式来理解这些智能体如何运作、在何处活动，以及风险如何通过它们的行为逐渐显现。正是为了填补这一“清晰度缺口”，Hanah-Marie Darley联合创立了Geordie AI，帮助企业在不牺牲安全性和问责制的前提下，自信地采用自主AI技术。
### 自主AI的隐形风险：被忽视的“沉默故障”
在Hanah-Marie Darley看来，自主AI给企业带来的最容易被误解的风险，是所谓的“沉默故障”。这种故障并非源于权限滥用或非法访问，而是智能体在完全符合权限和访问边界的情况下，产生了与预期不符的结果。
传统的网络安全模型主要关注访问违规，但自主AI的出现彻底改变了这一格局。这类智能体能够实时解读环境并做出决策，其行为是动态形成的，而非像传统软件那样遵循固定的指令序列。风险不再仅仅取决于是否发生了访问违规，而是源于决策、工具和环境在一段时间内的相互作用。
例如，一个自主AI智能体可能在处理客户服务请求时，合法地访问了客户数据，但在后续的任务中，它可能会无意中将这些数据用于其他未经授权的场景。这种“上下文复用”带来的风险，往往被企业的安全团队所低估。
### 平衡创新与安全：行为可观测性是关键
面对自主AI带来的新型风险，企业如何在保持创新速度的同时，实现有效的安全治理？Hanah-Marie Darley认为，企业不应该为了监督而牺牲性能，有效的安全措施应该是赋能而非限制创新。
Geordie AI的解决方案强调行为可观测性、上下文风险评估和对智能体活动的动态控制。与传统的安全工具不同，Geordie的架构避免了使用内联代理和网关，不会给系统带来额外的延迟，让企业能够在最适合的环境中构建和运行AI智能体。
在实践中，企业需要关注那些复杂度较高的工作流，因为智能体做出的独立选择越多，行为偏离预期的可能性就越大。工具链的使用、上下文的复用和新出现的工作流，都是自主AI行为漂移的常见场景。通过行为分析而非孤立的事件监控，企业可以检测到诸如意外工具调用、异常操作序列和数据流动变化等早期风险信号。
### 超越模型解释：构建行为层面的可审计性
当前，企业对AI可解释性的关注主要集中在模型输出层面，但Hanah-Marie Darley认为，真正的风险往往隐藏在智能体的行为序列中。对于自主AI来说，审计不能仅仅停留在查看最终结果，而需要深入理解整个决策过程：智能体如何解读环境、调用了哪些工具、上下文如何影响决策，以及安全护栏如何发挥作用。
这种行为层面的可观测性，是实现自主AI问责制的基础。Geordie AI的平台通过提供对智能体配置、行为和风险动态的全面可见性，帮助企业建立起这样的审计能力。
### 自主AI治理的实践路径：从基础开始，逐步扩展
对于希望加强自主AI治理的企业，Hanah-Marie Darley给出了明确的行动建议：不要等待完美的框架，从基础工作开始。企业首先应该对现有的AI智能体进行盘点，建立行为可见性，理解它们如何与现有系统交互。
在实施治理措施时，必须确保不会给业务运营带来额外的延迟。Geordie AI的平台正是遵循这一原则，在提供全面监控的同时，通过为自主AI系统设计的纠正控制机制，帮助企业实现创新与安全的平衡。
展望未来，Hanah-Marie Darley认为，那些能够成功规模化应用自主AI的企业，将与因风险管理不善而遭遇挫折的企业拉开差距。早期的关键差异在于清晰度和可衡量性，而长期来看，竞争优势将属于那些能够开发专业化、上下文感知的AI智能体生态系统的企业。精准性，而非通用性，将成为性能和韧性的核心驱动力。
在自主AI技术逐渐成为企业数字化转型核心的今天，Geordie AI的实践为我们提供了一个重要的启示：只有建立在信任和可控基础上的AI创新，才能真正为企业创造可持续的价值。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/cong-qing-bao-jie-dao-qi-ye-ai-an-quan-geordie-ai-shou-xi
