英伟达把代理安全推到模型之外,关键是可执行边界
英伟达于9月28日公布Open Agent Safety Platform,希望把智能体安全从模型提示词扩展到软件运行时、计算基础设施和机器人执行层。方案包含OpenShell开源运行环境,以及名为Sentry的参考系统设计:前者为代理设定受控运行边界并记录动作;后者通过独立于代理的软件监控路径观察行为,在越界时隔离或停止任务。
这个方向抓住了代理产品的一个现实难点。聊天模型答错,通常先造成错误信息;能够操作浏览器、文件、代码库或企业系统的代理,则可能把错误转成外部动作。单靠模型“记得不要越界”并不够,因为代理运行的工具、网络访问与文件权限,可能比模型本身更直接地决定风险。
安全要从“请不要做”变成“确实做不到”
更可靠的部署方式,是把策略放在代理无法自行改写的执行环境之外:限制可访问的域名和目录,对写入、发送、购买等高影响操作设置人工确认,为每次调用留下可审计记录,并为重试和任务时长设上限。遇到权限拒绝或异常响应时,应停止并升级处理,而不是鼓励代理换一种路径继续试。
英伟达称OpenShell已经开放,并表示其平台可以扩展到其他计算平台;Sentry目前则是围绕特定数据处理器构建的参考设计。两者不应混为一谈,也不能仅凭发布材料就得出“所有智能体都已安全”的结论。企业需要分别评估软件隔离、硬件依赖、策略配置、性能开销和绕过测试,并确认日志是否足够支持事后复盘。
把安全栅栏纳入产品架构
对开发者而言,这一发布的可取之处,是把代理权限看成系统设计,而不是提示词工程的附属选项。真正重要的问题包括:代理能接触哪些数据、能对外部系统执行哪些操作、谁批准敏感动作、失败后如何撤销,以及安全措施能否由外部审计者验证。开源运行时有助于检查和改造,但开放代码不等于自动安全,仍要结合团队的威胁模型和独立评估。
当AI从给建议走向替人办事,产品团队应先界定“绝不能发生什么”,再讨论代理能做什么。把权限做小、执行过程做透明、越界动作做可拦截,才能让自动化能力真正进入企业流程,而不把安全寄托在模型的一句承诺上。
参考来源:NVIDIA:Open Agent Safety Platform发布公告;NVIDIA技术博客:平台的分层安全架构。