已部署數十台!谷歌稱自家AI超算系統優於英偉達

手機中國 發佈 2024-01-30T08:09:56.570625+00:00

聚財聯社報導,當地時間周二,谷歌公布了其用於訓練人工智慧模型的超級計算機的最新細節。該公司稱,這些系統比英偉達公司的同期系統更快、更節能。

【CNMO新聞】聚財聯社報導,當地時間周二(4月4日),谷歌公布了其用於訓練人工智慧(AI)模型的超級計算機的最新細節。該公司稱,這些系統比英偉達公司的同期系統更快、更節能。

谷歌

據了解,谷歌張量處理器(tensor processing unit,簡稱TPU晶片)是該公司為機器學習定製的專用晶片(ASIC),第一代發布於2016年,為當時大熱的AlphaGo提供算力。與GPU相比,TPU採用低精度計算,在幾乎不影響深度學習處理效果的前提下大幅降低了功耗、加快運算速度。同時,TPU使用了脈動陣列等設計來優化矩陣乘法與卷積運算。

谷歌第四代TPU晶片

谷歌表示,目前公司90%以上的AI訓練工作都是通過谷歌自主研製的TPU晶片完成的。其AI訓練的過程是:通過給模型輸入數據,使其能夠用類似人類的文本回應、並具備生成圖像等功能。當前谷歌使用的是最新的第四代TPU晶片,谷歌公司周二發布的一篇論文詳細闡述了該公司是如何利用自己定製的光開關,將4000多個晶片組合到一台超級計算機中,從而幫助連接一台台獨立機器。谷歌表示,其已經部署了數十台採用第四代TPU打造的超級計算機,供內部使用和外部通過谷歌雲使用。

相關論文

谷歌在論文中表示,對於同等大小的系統,其晶片比基於英偉達A100晶片的系統快1.7倍,能效高1.9倍。英偉達A100晶片與第四代TPU同時上市,並被用於GPT-4的訓練。不過英偉達目前的旗艦是H100晶片,谷歌並為與之進行對比,因為H100在谷歌晶片之後上市,並且採用了更先進的製程。

關鍵字: