AI 代理人時代來臨：企業如何解決「誰來監督 AI」的信任危機？

AI 代理人崛起，企業面臨審計挑戰

隨著具備自主行動能力的「代理人式 AI（Agentic AI）」逐漸深入企業運作，從幻覺問題到失控風險，如何確保 AI 產出內容的準確性與可追溯性，已成為企業領導者在 Fortune Brainstorm Tech 大會上討論的核心議題。當 AI 執行任務的數量與複雜度遠超人類審核能力時，建立一套透明且可解釋的驗證架構顯得至關重要。

透明度與「信託級」產品標準

自動駕駛技術公司 May Mobility 創辦人兼執行長 Edwin Olson 指出，企業必須預設 AI 終將犯錯，因此建立透明度與內省能力是與監管機構溝通的關鍵。他表示：

A key thing that we worry about is how do you build a system that is as right as often as you can possibly make it. But also, critically, because you know it’s going to eventually make mistakes, how do you create the transparency and introspectability, so you can understand why it made a mistake and then talk to regulators about how you know that you fixed that issue moving forward.

湯森路透（Thomson Reuters）首席數據長 Caitlin Halferty 則強調，該公司將透明度列為「信託級（fiduciary grade）」產品的四大支柱之一，與數據隱私、專家知識及內容可靠性並列，確保客戶能隨時驗證模型產出的結果。

「AI 互評」：讓 AI 成為彼此的審計官

為了應對 AI 產出過量、人類難以審核的困境，業界開始推動「系統互評」機制。Trustguard AI 創辦人兼執行長 Elena Kvochko 提出了「LLM 作為法官（LLM as a judge）」的概念，類比新聞編輯室的運作模式：

You have one person or agent whose job is to be the writer, and then the other person or agent whose job is to be the editor—its sole purpose is to find mistakes, or any inaccuracy that the writer could have potentially missed. So basically this is how you you want your LLM systems to also be designed, so that they are self improving.

Kvochko 特別強調，驗證必須由獨立的 AI 系統執行，絕不能讓 AI 負責評分自己的工作。SentinelOne 首席 AI 官 Gregor Stewart 也認同此觀點，他指出軟體開發領域已領先其他產業約一年，開始將過去用於安全關鍵產業（safety-critical industries）的嚴謹審核技術，轉化為 AI 代理人的自動化流程，以解決大規模程式碼審計的瓶頸。