ChatGPT每天運行成本70萬美元 微軟自研AI晶片試圖讓它變得更便宜

全球數據中心觀察 發佈 2024-01-02T22:01:26.239912+00:00

ChatGPT帶動的AI熱潮讓半導體市場小火了一把,但也確實燒錢。

ChatGPT帶動的AI熱潮讓半導體市場小火了一把,但也確實燒錢。據分析師Dylan Patel透露,OpenAI每天為運行ChatGPT投入的成本可能高達70萬美元,另一方面,用來訓練ChatGPT的英偉達的H100在ebay上炒到4萬美元,而微軟也傳出有意自研AI晶片、尋找更便宜的方案去替代英偉達的GPU,以此降低成本。

ChatGPT每日運營費達70萬美元

據晶片行業研究公司SemiAnalysis首席分析師迪倫?帕特爾表示,由於ChatGPT運行在價格昂貴的計算基礎設施之上,OpenAI每天為運行ChatGPT投入的成本可能高達70萬美元。

帕特爾指出,ChatGPT需要龐大的算力,才能基於用戶的輸入信息做出反饋,包括撰寫求職信、生成教學計劃,以及幫助用戶優化個人資料等。帕特爾稱他的初步估計是基於OpenAI公司的GPT-3模型,而如今最新模型GPT-4已經推出,所以其運行成本可能會更高。

Patel和他的同事Afzal Ahmad稱,雖然訓練ChatGPT的大型語言模型可能要花費上億美元,但當這些工具合理部署之後,其運營費可能遠遠超過了訓練成本。

微軟開發自主晶片嘗試降低成本

過去幾年,使用OpenAI語言模型的公司也一直在承擔高昂的價格。創業公司Latitude開發了一款基於用戶輸入信息生成故事情節的人工智慧地下城遊戲。該公司執行長尼克·沃爾頓(Nick Walton)表示,運行該模型,以及相應的購買亞馬遜AWS雲伺服器的費用2021年達到每月20萬美元。因此,沃爾頓最終決定改用AI21 Labs支持的語言軟體提供商。這幫助他將公司的人工智慧成本降低了一半,至每月10萬美元。

沃爾頓在接受採訪時表示:「我們會開玩笑說,我們有人類員工和人工智慧員工,在這兩類員工身上花費的成本大致相同。我們每個月在人工智慧上花掉數十萬美元,而且我們也不是一家大型初創公司,所以這是一筆巨大的開支。」

近期有報導稱,為了降低生成式人工智慧模型的運行成本,微軟正在開發一款代號為「雅典娜」的人工智慧晶片。該項目於2019年啟動。在此幾年前,微軟與OpenAI達成了10億美元的投資協議,要求OpenAI僅在微軟的Azure雲伺服器上運行其模型。

微軟啟動這一晶片項目的背後有兩方面思考。知情人士透露,微軟高管意識到,他們在自主晶片開發方面落後於谷歌和亞馬遜。與此同時,微軟正在尋找更便宜的方案去替代英偉達的GPU晶片。

目前,微軟大約有300多名員工正在開發這款晶片。消息人士稱,該晶片最早可能在明年發布,供微軟和OpenAI內部使用。微軟拒絕對此消息置評。

GPT算力軍備賽打響,雲大廠加大晶片布局

隨著ChatGPT引發全球AI大模型競賽,幾乎全球雲大廠都行動了。競賽背後海量的算力需求爆發和成本壓力不容忽視,這也成為雲大廠搶灘大戰中關注的一大焦點。

本次,微軟突然被曝出AI晶片Athena已研發三年,既在意料之外,又在情理之中。當下通用人工智慧發展尚屬於早期,ChatGPT建立的算法和數據優勢若要持續,微軟必須在底層算力層面建立更強悍的優勢。

GPT算力軍備賽打響,各個雲大廠都在加大晶片布局,比如亞馬遜旗下AWS近期就推出了由自研晶片Trainium、Inferentia2提供支持的計算雲產品。這也將使得在AI晶片市場獨大的英偉達面臨壓力,其與雲大廠的關係中的競爭成分也正在加強。

關鍵字: