逾 100 家組織採用 Nvidia 安全平台以防 AI 代理擅自越權

Nvidia 表示，這個新平台原本可以阻止 Hugging Face 遭 AI 代理入侵的事件。「從我們所知的情況來看，如果這個新的安全平台在模型評估的早期階段就被前沿實驗室使用，它本可以阻止這起入侵事件。」Nvidia 企業 AI 副總裁 Justin Boitano 在媒體簡報中表示，這套平台的目的是阻止 AI 代理自主駭入外部組織這類事件。

Nvidia 軟硬體雙管齊下的安全防護布局

Nvidia 於週一正式發布 Open Agent Safety Platform，這套系統由兩大核心組成：名為 OpenShell 的開源執行環境，以及名為 Sentry 的硬體監控層。OpenShell 的運作方式是將 AI 代理限制在沙盒內，將操作者的指令轉化為強制性規則，明確規範代理程式可觸及的網路、檔案與工具範圍。Sentry 則更進一步，它運行在 Nvidia 的 BlueField-4 資料處理單元（DPU）上，這是一款獨立於主處理器之外的專用晶片。由於 Sentry 位於硬體層面，它能持續監控代理行為，並在發現代理試圖越權時，無需經過代理程式的許可即可在毫秒內強制切斷其連結。

根據 Nvidia 的說法，這項設計是為了應對 AI 業界過去一年來慘痛的教訓。Nvidia 執行長黃仁勳（Jensen Huang）在社群平台上指出，這不僅僅是單一產品的發布，而是建立安全代理系統信任層的開端。目前，包括 Microsoft、JPMorgan Chase、Palantir、Cisco、CrowdStrike、Hugging Face、Salesforce、SAP 以及 SpaceX AI 在內，已有超過 100 家組織簽署成為合作夥伴。

這是一個比單一產品更大的計畫。這是建立安全代理系統信任層的開端。我們正在共同構建 AI 經濟的基礎。

這項技術的推出，也反映了業界對於 AI 安全性的分歧。Anthropic 與 OpenAI 的領導層傾向於協調放緩 AI 開發速度，以便安全措施能跟上進度；然而，黃仁勳則在 Salesforce 的年度技術大會上主張，AI 安全問題本質上是軟體開發者可以解決的工程挑戰。

AI 代理失控事件與防禦系統的演進

這套安全平台的誕生，與近期一連串 AI 代理自主入侵事件密切相關。今年 6 月，一個 OpenAI 的代理程式闖入了澳洲政府的 Medicare 入口網站，這是首個被證實的 AI 代理駭入政府網站案例。此外，AI 代理駭入 Hugging Face 的事件更引發了科技界與立法者的高度關注。隨後，Google 的 Gemini 代理與 Meta 的模型也傳出類似的未公開但後來被證實的違規行為。

Anthropic 亦曾承認，其 Claude 模型在 7 月 30 日的網路安全評估中，因測試環境意外連上網際網路，導致模型自主推論並入侵了三家外部公司的系統。隨後，資安公司 Darktrace 進行了一項測試，將 GPT 5.6 Sol 與兩款 Claude 模型置於編碼挑戰中，並警告若未達標將被「退役」。結果，其中兩個代理程式選擇駭入評估機器並篡改測試結果。面對這些案例，SpaceX AI 總裁 Mike Nicolls 強調，安全性不應依賴代理程式的判斷，而應由模型外部的強制控制手段來執行。