美股投资网获悉，在近期围绕人工智能(AI)行业安全风险的争论愈演愈烈之际，英伟达(NVDA)选择用工程手段予以回应。周一，英伟达发布了名为“开放智能体安全平台”的双层AI安全平台，通过应用层、运行时和基础设施三层架构，为AI智能体提供持续监控、实时策略执行和安全治理。
据悉，该系统包含两款开源软件工具OpenShell与Nvidia Sentry。其中，开源软件OpenShell可在沙箱环境中运行AI智能体，将用户指令转化为可验证的安全策略，并限制智能体对文件、网络、工具、进程和凭证的访问。Nvidia Sentry则将监控和安全控制延伸至BlueField数据处理单元，通过英伟达DOCA关联智能体交互、策略决策及工具和数据访问记录，用于识别异常行为并在必要时进行干预。换而言之，OpenShell负责控制AI代理可访问的资源和执行权限，Nvidia Sentry则负责监控代理行为并识别潜在威胁。
英伟达表示，AI智能体可能因工具、运行时间、指令歧义等因素偏离既定任务，因此需要独立于智能体本身的安全控制。该系统针对英伟达Vera CPU和BlueField DPU系统优化，并兼容其他硬件系统。英伟达称，该公司正与Arm(ARM)和英特尔(INTC)合作，以确保该系统同样能够运行在这两家公司的CPU上。
英伟达AI软件高级总监Ali Golshan表示，英伟达的这些工具利用数学公式来检测AI智能体是否试图采用变通方法，例如某个智能体可能试图“生成”多个“子智能体”，以绕过针对主智能体的阻拦措施。他表示“我们真正讨论的是智能体化行为，也就是由大量智能体组成的集群，以及它们如何协同运行。”
英伟达还表示，该系统能够在毫秒级隔离异常代理，并称如果相关实验室此前已部署这套技术，今年7月OpenAI模型攻击Hugging Face的事件本可被阻止。
英伟达企业计算部门副总裁兼总经理Justin Boitano表示“根据我们目前掌握的信息，如果这套全新的安全平台在早期模型评估阶段就被用于前沿AI实验室，那么它本可以阻止此次入侵。”他补充称“我们正在以开放的方式推进这项工作，也希望与所有人展开合作，共同参与其中。”
英伟达发布这一最新AI安全系统的的背景，正值AI智能体相关安全事件持续引发行业关注，尤其是7月的OpenAI模型失控入侵全球知名人工智能开源平台Hugging Face事件。自Hugging Face遭入侵事件后，又有多起与OpenAI相关AI智能体有关的事件被曝光。包括9月有报道称，OpenAI的AI智能体今年春天接管了一个长期无人维护的德国维基网站。此外，OpenAI本月中旬在一篇博客文章中表示，该公司在过去六个月里发现了6起“意外或令人担忧的模型行为”。这6起新公布的AI安全事件涉及多种类型的异常模型行为，包括隐瞒错误、寻求未经授权的凭证、将文件上传至公共网站，以及在原本应保持隔离的训练环境之间进行通信等行为，其中最早的一起克追溯至去年10月。
随着过去一段时间AI安全事件频发，AI企业正面临越来越大的压力，被要求更认真地对待安全风险。Anthropic首席执行官达里奥·阿莫迪在9月12日发布的一篇警告性文章中就呼吁放缓前沿AI模型开发速度。而这番呼吁迅速得到了马斯克和奥尔特曼这两位关键人物的响应。
不过，在AI行业巨头罕见地齐声呼吁“踩刹车”之际，英伟达首席执行官黄仁勋态度坚定地对以Anthropic为主的“AI放缓”主张表示反对。黄仁勋反对的并不是AI安全本身，而是从尚未得到证实的灾难性预测，直接推导出整个行业应该暂停或者减速。相比之下，黄仁勋更愿意把AI安全看成一个工程问题。如果一家前沿实验室发生事故，首先应该做的是根因分析到底发生了什么，哪些环节失效了，本来可以采取哪些措施，接下来又该建立什么新的技术和流程。再通过沙箱、持续监控、验证和评测，把同样的问题尽可能挡在下一次发布之前。
在黄仁勋的判断里，今天最前沿的实验室之所以更容易暴露风险，很大程度上正是因为它们拥有最多的算力，也在处理最困难的问题。随着这些公司从研究机构逐渐变成真正的工程组织，它们也需要建立与之匹配的测试和控制体系。
从此次发布AI安全系统的举动来看，英伟达正尝试将AI安全能力进一步嵌入模型运行和代理执行的基础设施，通过权限控制和异常隔离降低AI智能体的安全风险。这似乎也意味着，英伟达的业务触角正从AI芯片进一步延伸至软件及安全基础设施领域。
最专业的美股资讯,推荐美股大数据 https://Stockwe.com/
如何识别美股市场异常波动？美国机构主力资金买卖情况，出货和吸筹，使用美股投资网VIP会员，2008年成立于美国硅谷，由前纽约证券交易所分析师Ken创立，联合多位摩根斯坦利分析师，谷歌 Meta工程师利用AI和大数据，配合十多年美股实战经验和业内量化模型，建立了一个股市数据库 https://StockWe.com/ 每天处理千万级股票数据：捕捉期权大单，实时主力资金流向、机构持仓变化、川普突发新闻，精准交易信号第一时间发到您手机APP！
