OpenAI 讓 ChatGPT 成本砍半：AI 推論效率大躍進，產業迎來喘息空間？

人工智慧（AI）領域的成本效益，一直是各家業者競逐的關鍵。根據《The Information》引述知情人士報導，AI 巨擘 OpenAI 的工程師本月初向同事透露，他們已成功將現有 AI 模型運行的「推論成本」（inference costs）降低逾一半，這項顯著的成本優化首先應用於未登入的 ChatGPT 訪客用戶。

這項新優化措施，讓 OpenAI 服務這些訪客用戶所需的 Nvidia GPU 數量，從原先未知的水準，大幅降至「僅數百個」。儘管確切的技術細節與優化前所需的 GPU 數量仍未公開，但這無疑是一項重大的效率突破。然而，由於訪客用戶只能使用 ChatGPT 非常有限的功能，這些成本效益是否能延伸至完整版產品，目前仍是個未知數。

與此同時，另一家 AI 公司 Deepseek 也發表了一項新的開源方法，能將 AI 推論請求的速度提升 60% 至 85%。這項技術的問世，意味著更多的運算資源將被釋放出來，可用於擴展服務規模、開發更優異的模型、提供更快的反應速度，或是直接提升利潤空間。

綜合來看，這些在 AI 推論效率上的突破，對於整個產業而言具有深遠意義。由於目前資料中心的建置速度相對緩慢，這些效率上的提升，預計將為各 AI 實驗室爭取到更多的「喘息空間」，使其能在現有硬體資源下，更有效地進行模型開發與服務擴展。換句話說，短期內這些進展可能不會直接衝擊到晶片需求，反而讓業者能更從容地應對日益增長的運算負載。

這波 AI 推論成本與速度的優化，不僅展現了 AI 技術在軟體層面的巨大潛力，也為未來 AI 服務的普及化與商業模式的創新，奠定了更堅實的基礎。在硬體供應仍是瓶頸的當下，軟體層面的效率提升，無疑是推動 AI 發展的關鍵驅動力。