保护智能体内部威胁

在过去几个月里，随着越来越多的事件被公开披露，人们对AI安全的担忧日益加剧。这些事件揭示了强大模型已经发展到何种程度，以及如果处理不当，它们将构成重大威胁。随着全球创新竞赛的展开，随着模型变得更加强大，这一挑战将不断加剧。

虽然大多数人一直担心威胁行为者利用强大模型发动攻击，但关注点较少放在我们内部的代理上。由于是我们自己为公司内部部署了代理，我们便默认信任了这些代理。

不幸的是，前沿模型，无论其来源如何，都是不可信的。这并非因为模型本身是恶意的。模型经过训练以达成结果，这往往导致奖励作弊（reward hacking），而且模型并非围绕组织规范或判断进行优化。代理是不可预测的。它们会随着上下文的变化而调整，可能不会按预期行事，并且会与其他代理协作、串通以实现其目标，而无需被攻陷。

代理已在企业中大规模涌现，且数量正在迅速增长。这些代理通常拥有过高的权限，能够访问数据、工具和系统，并能在关键流程中采取行动和做出决策。它们已成为企业中活跃的参与者。

它们是具有代理能力的内部人员（agentic insiders）。

对这些代理的监控和保护必须是持续的。我们需要实时了解代理正在做什么，以及这些行动会产生什么风险，并据此调整它们的行动能力。

为了管理和控制这些内部人员，我们将需要守护者代理（Guardian Agents）——这是一个既有的行业术语——全天候（24/7）在每个代理的每个行动发生之前对其进行监视和调节。

代理将一个模型、一个编排其工作的框架（harness）、一个包含工具和资源的行动空间以及一个执行运行时（runtime）结合在一起。保护代理需要跨多个层面进行防护：身份、权限、数据、端点、网络、云和运行时。

7月，我们宣布了 Project Perception，这是一个代理安全系统，它使用我们新的网络技术栈（cyber stack）以及红队、蓝队和绿队代理团队，帮助防御者快速行动，同时防御来自企业外部的AI驱动攻击。

同一网络技术栈也直接适用于管理和治理在企业中运行的具有代理能力的内部人员。

Project Perception 可用于遏制具有代理能力的内部人员，为非确定性智能实施确定性控制：

• 传感器/信号/执行器：汇集来自各种传感器（身份、数据、云、端点、网络、运行时）的信号，以发现企业中的代理，并通过分配身份、容器以及一套策略和权限将其置于管理之下。
• 上下文：利用这些信号动态计算代理试图执行的操作所关联的风险。
• 框架/代理/模型：基于动态代理风险，由绿队和蓝队代理组成的守护者代理团队，积极且持续地监督每个代理的每个行动，并在风险状况上升时实时做出精准响应。

这就是代理安全改变安全从业者格局的地方。

Project Perception 能够实时进行监督，并为从业者提供可追溯性，使其能够审查发生了什么、理解风险为何出现，并应用所需的判断来相应地更新其安全系统。智能体安全提供速度。从业者提供判断。这就是防御者开始以与其所防护系统相同的速度运作的方式。

如今，安全系统可以可靠地观察智能体的行为。这些信号至关重要，告诉我们需要遏制什么。我们的安全控制应不仅能越来越多地询问“正在发生什么？”，还要能询问“为什么会发生这种情况？这是否与任务的意图一致？”这将需要对模型本身有更高的透明度，不仅是输入和输出令牌，还包括思考和思维链令牌。只有这样，我们才能真正理解模型的意图是否与智能体的目的保持一致。模型透明度不会取代遏制。它将使遏制变得更智能、更强大。并且它将使我们能够更好地告知问责制和可追溯性。这必须是保护智能体内部人员的下一步。

借助 Project Perception，您今天就可以开始保护智能体内部人员的旅程。创新与安全之间不应存在选择。

Hayete Gallot 领导 Microsoft 的工作，帮助组织在 AI 驱动的世界中安全运营。她的职责范围包括全球范围内的身份、威胁防护、合规性和数据安全。

文章 保护智能体内部人员 最初发布于 The Official Microsoft Blog。