當 AI 代理人成群結隊：Google DeepMind 聯手學界投入千萬美元，防範「數位無政府」風險
編輯核心觀點
- ✦Google DeepMind 聯合多家機構投入 1,000 萬美元，資助研究多代理人系統（Multi-agent systems）的行為與安全風險。
- ✦專家擔憂當大量 AI 代理人開始互動，可能引發詐騙、提示注入攻擊等網路安全威脅，甚至導致數位環境陷入混亂。
- ✦資安專家指出，AI 代理人具備推理與即興能力，打破了傳統軟體依循固定路徑運作的資安假設，需建立新的防禦標準。
隨著 AI 代理人（AI agents）成為科技產業的發展重心，Google DeepMind 近期宣布與 Schmidt Sciences、英國政府的 ARIA、Cooperative AI foundation 以及 Google.org 合作，共同投入 1,000 萬美元資金，旨在資助學界研究「多代理人系統」的行為模式，並開發防範不安全情境的機制。
為什麼需要研究多代理人安全？
Schmidt Sciences 旗下「可信賴 AI 科學計畫（Science of Trustworthy AI program）」負責人 James Fox 與相關研究人員指出，目前學界缺乏專門針對多代理人安全的研究領域。隨著 AI 代理人被部署至經濟活動中，當數量達到臨界點，單一代理人或小規模群體的行為研究已不足以預測其互動結果。
The strength of academia is that it can look really quite far into the future and do the kind of work that isn’t top of mind at industry labs.
研究人員認為，AI 代理人可能形成一種「蜂巢心智（hive mind）」，其整體能力大於各個模型的總和。若缺乏模擬與研究，數位環境可能演變成「絕對的無政府狀態」。目前預設的風險主要為現有網路威脅的「升級版」，例如大規模詐騙、提示注入（Prompt injection）攻擊，甚至將 AI 代理人轉化為自導向的惡意軟體。
資安界的反思：AI 打破了傳統安全假設
除了 Google DeepMind 的行動，Anthropic 近期也發布了基於「零信任（Zero trust）」架構的 AI 代理人部署指南，假設系統必然存在漏洞且代理人可能成為攻擊者。
以色列資安公司 Akeyless 的共同創辦人兼 CTO Refael Angel 對此表示認同。他指出，過去的安全防禦建立在「機器執行人類編寫的固定軟體」這一假設上，但 AI 代理人徹底改變了規則：
An agent breaks all of those assumptions. It reasons, it improvises, and it can be hijacked by a single sentence buried in a document it was asked to read.
Angel 樂見這筆資金的投入，認為不應由單一實驗室制定所有人都必須遵循的安全標準。不過他也提醒，研究人員在追求異國情調的假設性風險時，不應忽略當下已經存在的資安問題。儘管對於 AI 是否會引發大規模經濟崩潰等末日情境，研究人員認為短期內尚不會發生，但正如 Fox 所言，許多幾年前被視為假設性的風險，如今已成為現實。
