AI 算力瓶頸有解？邁阿密新創 Subquadratic 宣稱突破 Transformer 運算限制
編輯核心觀點
- ✦邁阿密新創 Subquadratic 開發出名為 SubQ 的語言模型，宣稱透過「稀疏注意力」機制解決了大型語言模型長期面臨的二次方運算瓶頸。
- ✦第三方評測機構 Appen 測試顯示，SubQ 在原始運算速度上比 FlashAttention 快 56 倍，且執行長內容測試成本僅需 8 美元。
- ✦儘管數據亮眼，但該模型是基於現有開源模型修改而成，且尚未大規模開放，業界專家對於其是否徹底解決運算瓶頸仍持保留態度。
解決 AI 運算效率的「聖杯」？
自 2017 年 Google 研究人員提出 Transformer 架構以來，「密集注意力（Dense Attention）」機制便成為大型語言模型（LLM）的核心。然而，這種機制會將文本中的每個詞與其他詞進行比對，導致運算量隨著文本長度增加呈二次方成長，這也是 AI 模型運作緩慢且耗電的主因。邁阿密新創公司 Subquadratic 宣稱，他們已透過「稀疏注意力（Sparse Attention）」技術突破此瓶頸。
Subquadratic 共同創辦人兼技術長 Alex Whedon 表示，該公司的技術核心在於能根據內容動態選擇關注的詞彙，而非依賴固定的模式。SubQ 模型在今年 5 月結束隱身狀態時，獲得了 2,900 萬美元的種子輪融資。
第三方測試數據與爭議
為回應外界對其技術真實性的質疑，Subquadratic 委託第三方評測機構 Appen 進行測試。結果顯示，SubQ 在原始速度測試中比主流的 FlashAttention 快 56 倍；在程式碼編寫基準測試中，得分達到 89.7%。此外，在成本效益方面，該公司宣稱執行一次長文本測試，Anthropic 的頂級模型需花費約 2,600 美元，而 SubQ 僅需 8 美元。
他們可能確實打造出實用且真實的產品，但目前的公開證據尚不足以支持他們宣稱已解決二次方注意力瓶頸的強大主張。——前 OpenAI 研究員、獨立研究者 Will Depue
儘管數據驚人，但 SubQ 的技術背景仍引發討論。該模型並非從零開始訓練，而是基於現有的開源模型進行注意力機制替換。此外，雖然已有數萬人加入候補名單，但目前僅有極少數人能實際使用該模型，真實場景的表現仍待驗證。
產業影響
Subquadratic 的目標是徹底改變 AI 運算架構。執行長 Justin Dangel 指出，目前整個產業都在追求更高的運算效率，而他們認為 Transformer 架構在幾年內將被取代。若 SubQ 的技術能大規模應用，將能顯著降低 AI 處理長文本（如完整程式碼庫、合約文件）的成本與能源消耗，這對於目前受限於算力經濟的 AI 代理（AI Agents）發展至關重要。
