微軟釋出 SkillOpt 開源框架：讓大型語言模型學會「自我優化」的實作指南

什麼是 SkillOpt？

微軟近期釋出的 SkillOpt 是一套專為大型語言模型（LLM）設計的自動化技能優化框架。不同於傳統的手動提示詞調優，SkillOpt 透過一套結構化的工作流程，讓模型能夠在執行任務的過程中，自動進行 Rollout（展開）、Reflection（反思）、Aggregation（聚合）、Selection（選擇）、Updating（更新）以及 Validation（驗證），從而實現技能的迭代演進。

實作環境與配置

要運行 SkillOpt，開發者需準備一個 OpenAI 相容的 API 環境。在實作中，我們將 GPT-4o 作為優化器模型（Optimizer Model），並以 GPT-4o-mini 作為目標模型（Target Model）。以下為核心環境設定步驟：

• 環境準備：透過 Git 克隆 SkillOpt 儲存庫，並安裝必要的 Python 相依套件（如 pandas 與 matplotlib）。
• API 連結：將 API 端點設定為 OpenAI 相容模式，並確保環境變數已正確載入 API Key。
• 參數調控：透過 RUN_KNOBS 字典定義訓練參數，包括 Epoch 數量、批次大小（Batch Size）、學習率（Learning Rate）以及學習率排程器（Cosine Scheduler）。

評估與視覺化分析

SkillOpt 的強大之處在於其完整的監控與視覺化能力。在訓練過程中，該框架會自動生成訓練儀表板，協助開發者追蹤以下指標：

透過比較原始種子技能（Seed Skill）與優化後的技能，開發者可以明確觀察到在 SearchQA 等任務上的準確度提升，並透過編輯預算（Edit-budget）監控模型在調整過程中的行為。

開發者可以透過 history.json 檔案分析訓練歷史，並利用 Matplotlib 繪製出訓練準確度、驗證準確度以及累積 Token 使用量的走勢圖，這對於控制 API 使用成本與評估模型效能至關重要。

技能演化檢視

在優化循環結束後，開發者可以透過 difflib 工具比對不同版本的技能快照（Snapshot）。SkillOpt 會將優化後的最佳技能儲存為 best_skill.md，並提供「文字梯度（Textual Gradient）」的聚合補丁（Patch）與反射階段的分析報告。此外，系統還會保留「慢速更新（Slow Update）」與「元技能（Meta-skill）」的 artifact，讓開發者能深入了解模型在每個階段的具體調整邏輯。