搶攻AI代理時代！Google發表TPU 8tx、8i Max 首度1年推出4款系統

Google宣布擴充第八代張量處理器（TPU）產品陣容，推出兩款全新系統，包括專為安全與機密推論設計的「TPU 8tx」，以及針對龐大脈絡視窗與高密度運算打造的「TPU 8i Max」，加上今年4月推出的TPU 8t與8i，Google首度在同一年內推出4款TPU系統，進一步擴大AI基礎設施布局。

Google表示，TPU最初是十多年前為滿足內部語音辨識、語言翻譯等需求而開發，如今已發展至第八代，應用範圍也從Google自家Gemini模型的訓練與推論，逐步擴展至AI代理工作負載、Google Cloud客戶的雲端運算需求，近期更開放客戶將TPU直接部署於自有資料中心。目前TPU已成為Google快速成長的業務之一，客戶數接近100家，涵蓋前沿AI研究機構、交易公司、零售商及大學等。

今年4月舉辦的Google Cloud Next大會，Google已率先發表兩款第八代TPU系統，其中TPU 8t主要負責大規模AI模型訓練，TPU 8i則鎖定即時推論需求。Google指出，相較前一代TPU，TPU 8t的訓練效能最高提升2.7倍，TPU 8i的推論性價比則提高80%。

Google此次進一步擴大第八代TPU產品陣容，推出兩款全新系統，包括專為處理龐大脈絡視窗及提升單機櫃運算密度設計的TPU 8i Max，以及強化安全與機密推論能力的TPU 8tx。

Google說明，過去TPU主要與Google DeepMind共同設計，但隨著外部企業的應用需求日益多元，Google也開始更頻繁地將客戶意見納入產品開發。尤其當AI運算從人類操作規模逐步邁向大量AI代理協同運作，企業對於能夠處理龐大脈絡視窗的AI加速器需求持續增加，部分受到高度監管的產業，也開始針對特定工作負載提出專屬加密功能的需求。

為因應這些新興需求，Google此次推出兩款全新TPU系統，並搭配近期發布的PyTorch相關更新，進一步降低開發者及Google Cloud客戶使用TPU的門檻。透過結合模組化的自研晶片，以及開放、易於使用的軟體架構，Google希望能更快速地因應AI產業發展，推出符合不同運算需求的硬體與系統配置。

TPU 8tx是第八代的第三款系統，針對安全與機密推論進行了最佳化，同時也非常適合小規模訓練，是專為受高度監管的企業與政府機構所打造，讓他們能在處理高機敏資料的同時，安全地執行前沿或專屬模型及自主AI代理。

Google指出，一般資料在儲存或透過網路傳輸時會進行加密，但在電腦處理資料的過程中，必須先在記憶體中解密。TPU 8tx採用與TPU 8t相同的矽晶片，並搭配第五代AMD EPYC CPU主機，將安全機制直接內建於硬體層中，能確保敏感資料與模型權重即使在活躍使用狀態下，也能全程受到保護並維持隔離。

此外，藉由採用專為即時推論所打造的相同低延遲Boardfly網路，TPU 8tx 能讓多步驟AI代理保持順暢運作，在幾乎零效能損耗的情況下，提供比TPU 8t低高達2倍的延遲表現。

將訓練等級的運算能力與高速推論網路結合，意味著企業可以在單一系統上同時執行並客製化自己的模型，TPU 8tx讓團隊可以使用專屬資料微調模型、將大型模型蒸餾為較小模型，並透過強化學習訓練他們的AI代理，所有過程皆無需在不同叢集間搬移敏感資料。

另一款新系統TPU 8i Max，則是鎖定解決AI代理協同運作時面臨的記憶體瓶頸。當數十個AI代理同時針對整個軟體程式碼庫或長達數小時的影片協同運作時，記憶體頻寬很快就會成為瓶頸，為此，Google將兩顆低延遲的TPU 8i晶片整合封裝在單一模組上。

TPU 8i Max 同步擴展了運算與記憶體資源，提供雙倍的運算能力、雙倍的靜態隨機存取記憶體（SRAM），以及雙倍於TPU 8i的高頻寬記憶體（HBM）頻寬，確保處理器隨時備妥關鍵資料，避免大型工作負載發生停滯。此外，由於TPU 8i Max在現有的機櫃空間容納了兩倍的矽晶片，資料中心每平方英尺與每瓦電力能部署的運算能力也因此大幅提升。

Google表示，第八代TPU的4款系統各自針對不同運算需求進行設計，涵蓋AI代理應用生命週期的各個階段。其中，TPU 8t主要負責大規模模型訓練，TPU 8i鎖定低延遲推論，TPU 8tx著重機密運算，而TPU 8i Max則專為處理龐大脈絡視窗及提升單機櫃運算密度打造。

Google特別強調，此次推出的是兩款全新TPU「系統」，而非重新設計的「晶片」，兩者在開發方式與所需時間上有所不同。一般而言，新晶片的設計涉及數十億個微型電晶體的布局，製造流程複雜，往往需要耗費多年時間；相較之下，新系統則是以既有晶片為基礎，整合運算、網路及儲存資源，並調整相關封裝與配置，以更快速地回應客戶需求及新興研究應用。

Google指出，早在十多年前開發第一代TPU時，就已預見AI軟體的演進速度將超越晶片製造週期，因此採取模組化設計，將TPU作為AI超級電腦（AI Hypercomputer）的基礎運算模組，讓工程師能依據不同需求，靈活調整晶片封裝、高速記憶體、光學網路及安全防護機制。透過這種設計方式，Google得以將專用超級電腦的交付時間，從原本可能需要數年縮短至數個月。