非中國開源模型另一選擇: Thinking Machines Inkling 2 Small 594B 支援百萬 Token

美國人工智慧新創 Thinking Machines Lab 11月12日正式開放 Inkling 2 Small 模型權重下載，採用 Apache 2.0 授權，允許開發者自行部署與微調。這款模型最早於11月5日發表，初期僅能透過官方 Tinker 平台使用，待外部安全測試完成後才開放權重。Inkling 2 Small 擁有5940億總參數（594B），每次推論約啟用170億參數（17B），支援最高100萬 token 上下文，主要支援 AI 代理、程式開發、資料分析及企業自動化應用。

Inkling 2 Small 採用混合專家（MoE）架構，具有48層 Transformer，每次處理文字時會從384個專家中選出8個參與運算，藉此減少推論所需的計算量。模型可同時理解文字與圖片，並以文字輸出結果，也支援工具呼叫及不同程度的推理設定。開發者能依需求將它用於聊天機器人、編碼助理或檢索增強生成（RAG）系統，不過新版本並未提供音訊輸入功能。

這款模型另一項特色是採用 NVIDIA NVFP4 低精度格式進行訓練，從預訓練到後訓練均以相同精度完成。Thinking Machines Lab 同時提供 NVFP4 與 MXFP8 兩種權重版本，其中 NVFP4 是官方建議的部署選擇，因為 MXFP8 在多項測試中僅提高約1至2個百分點，卻需要更多記憶體。根據模型卡，NVFP4 版本至少需要500GB GPU顯存，可使用兩張 NVIDIA B300 或四張 H200 執行；MXFP8 則需要至少800GB。儘管每次只啟用170億參數，完整模型權重仍須載入，因此並非一般消費級顯示卡就能輕易運行。

效能方面，官方公布的 BrowseComp 網頁搜尋測試取得90.2%，Finance Agent v2.1 金融代理測試則有67.5%，在同場比較的模型中均取得最高成績。SWEBench Pro v2 的 Full 測試達97.7%，但難度較高的 Hard 測試為86.3%，顯示不同測試條件下的表現仍有差異。另一項 AA-Omniscience v1.1 評測中，模型的非幻覺率為73.3%，代表在未能正確回答的情況下，較能避免憑空捏造內容，不能直接解讀成所有回答都有73.3%的正確率。

Inkling 2 Small 並非每項測試都領先。在 Artificial Analysis Intelligence Index v5.0 中，模型取得30.6分，略低於部分中國開放權重模型；Terminal-Bench 4.0 的成績則只有13.1%，與其他擅長終端機操作的模型仍有明顯差距。Thinking Machines Lab 也坦言，新模型在複雜工具選擇、內容組織與一般聊天體驗上還有改善空間，部分情境可能出現過度拒絕回答的問題。

值得注意的是，Inkling 2 Small 由美國公司開發，並採相對寬鬆的 Apache 2.0 授權，提供台灣企業與研究機構另一種非中國來源的模型選擇。不過，能免費下載或自行部署，不代表可直接用於所有政府業務。依照台灣行政院的生成式 AI 使用指引，公務機關仍須評估資料安全、個資保護與使用風險，機密文書及涉及未公開公務資訊的處理也有額外限制。若採封閉式地端部署，仍須先確認系統環境安全性，並遵守各機關的內部管理規範。