你被 AI「記住」了嗎？新網站 In the Weights 揭露大型語言模型中的知識權重
編輯核心觀點
- ✦In the Weights 網站透過查詢多個大型語言模型，量化並呈現特定人物在模型權重中的「存在感」。
- ✦該工具由兩名前 OpenAI 員工開發，分數反映了模型在訓練過程中對該人物知識的內化程度。
- ✦模型規模與訓練數據會影響結果，包括幻覺問題、拼字錯誤及同名現象皆會干擾評分準確性。
大型語言模型（LLM）究竟「認識」誰？一個名為 In the Weights 的新網站，試圖揭開 AI 模型內部知識儲存的神秘面紗。該網站透過向多個模型發出查詢，計算特定人物在模型權重（Weights）中的存在感，並給予一個「強度分數」（Strength score）。
模型權重中的「數位記憶」
所謂的「權重」，是 AI 模型中數十億個數值參數的集合，這些數值編碼了模型在訓練期間習得的知識。若一個人的名字出現在這些權重中，代表該人物在訓練階段被模型視為具有足夠的相關性，無需透過網路搜尋等外部工具，即可直接從模型內部記憶中提取資訊。
根據該網站的排行榜，分數越高代表模型對該人物的認知越深。例如，莫札特（Mozart）、莎士比亞（Shakespeare）或泰勒絲（Taylor Swift）等知名人物，其分數可達到 996 的最高級別。相比之下，該網站開發者之一 Maximilian Schreiner 的分數為 262，另一位開發者則為 175。
前 OpenAI 工程師打造，揭示 AI 知識侷限
In the Weights 由兩名前 OpenAI 員工 Joey Flynn 與 Thomas Dimson 共同開發。他們指出，模型規模對結果有顯著影響，較小的模型更難將特定人物納入權重中。因此，若某人能在參數規模僅十億級別的 Meta Llama 模型中被識別，即代表該人物具有極高的相關性。
開發者同時提醒，LLM 的運作存在明顯限制：
模型可能會產生關於人物生平細節的幻覺（Hallucination）、拼字錯誤會導致評分大幅下降，而常見姓名則往往會產生較差的查詢結果。
這項工具不僅展示了 AI 如何「記憶」人類資訊，也反映了大型語言模型在處理知識庫時，受限於訓練數據品質與模型架構的本質特徵。
