火山引擎推大模型訓練雲服務,助力中國湧現更多「ChatGPT」

李將平老師 發佈 2024-01-10T00:54:52.457376+00:00

ChatGPT這個AI的出現讓所有人突然有一種科幻進入現實,人類開啟全新人工智慧時代的感覺,全世界和中國也開始在人工智慧領域大力發展和追趕。

ChatGPT這個AI的出現讓所有人突然有一種科幻進入現實,人類開啟全新人工智慧時代的感覺,全世界和中國也開始在人工智慧領域大力發展和追趕。

比如谷歌宣布推出AI聊天機器人Bard,以試圖與OpenAI的ChatGPT展開競爭,而國內也不甘於落後,大量的公司也發布了自己的產品,或者開始投入資金研究。比如美團聯合創始人王慧文朋友圈發文稱:「我的人工智慧宣言:5000萬美元,帶資入組,不在意崗位、薪資和title,求組隊。」希望打造中國OpenAl。搜狗創始人王小川對外宣布開啟人工智慧大模型領域創業。並表示:「追上ChatGPT早期的水平,我覺得今年內可能就能夠實現。」還有很多很多。

而為了助力國內企業做好AI大模型,4月18日,火山引擎在其舉辦的「原動力大會」上發布自研DPU等系列雲產品,並推出新版機器學習平台:支持萬卡級大模型訓練、微秒級延遲網絡,彈性計算可節省70%算力成本,讓大模型訓練更穩、更快、更省錢,共同推動中國各行業的智能化升級。筆者看來,像火山引擎這樣的AI基礎設施,有利於中國未來湧現更多行業「ChatGPT」,影響每個人的生活。

ChatGPT本質上是什麼東西?

你可能聽說過ChatGPT這個名字,它可以生成各種各樣的文本,比如文章、代碼、詩歌、歌詞等等。它的能力之強大,讓人驚嘆不已。但實際上你看起來似乎很強的這個東西,本質上只是一個概率計算軟體而已,它如同鸚鵡一樣,根本就不知道自己說的是什麼,一切都只是計算出的可能性而已。

舉個例子,訓練ChatGPT的時候就給它一個詞「我喜歡吃水果」,GPT需要利用「我」預測「喜歡」,利用「我喜歡」預測「吃」。這種反覆的計算和猜測來生成一句它自己無法理解的話給你,但這裡有一個問題,「我」這個字後面可以是「喜歡你」,也可以是「是一隻小小鳥」,也可以是其它的文字,ChatGPT又是如何知道應該選哪個的呢?

這其實就是背後的AI大模型在工作,我們要對它進行訓練,讓它大量的閱讀和儲存人類的知識和語言,然後根據你說話的場景去比較,這種情況下最應該出現哪個字,然後才能夠說出你想要的話,所以很明顯,要想要這個聊天機器人越強,那就需要訓練更多的數據和知識進去,設置更多的參數,這就是一場燒錢的戰爭。

ChatGPT的對手在哪裡?先拿100億出來

ChatGPT的發展,就是燒錢的過程。說實話,目前在人工智慧助手方面,ChatGPT確實是全球領先,其它的所有企業,不僅僅是國內,包括國外其他的大模型也一樣在努力追趕。但這場競爭和以往的不同,因為這場競爭首先需要的就是錢,大筆的,上百億的錢,而這些錢還不是如同當初的網際網路大戰一樣一點點的補貼,而是需要一次性扔進去,然後可能一個泡泡都沒有,這是場驚心動魄的超級豪賭,為什麼這麼說?看一個數據就知道了。

根據綠色節能數據中心官方公眾號,ChatGPT的總算力消耗約為3640PF-days。按近期在國內落地的某數據中心為參照物,算力500P耗資30.2億落成,若要支持ChatGPT的運行,需要7—8個這樣數據中心支撐,基礎設施投入需以百億計。而且只這是硬體投入,軟體呢?人工呢?運營成本呢?這些加起來,全世界就沒有幾個企業敢這麼幹。

但實際上,這場大戰並不需要從頭投入,因為如前面說的一樣,ChatGPT其實只是一個外在而已,本質上的東西是AI大模型,只要擁有相關的AI大模型,並利用AI基礎設施不斷訓練,也能實現類似的ChatGPT應用或其他層面的應用,讓我們的社會全面進入AI時代。但就是這個模型,要發展起來,實在是難度太高。

AI大模型才是真正的競爭點

你可能知道ChatGPT是經過升級的,從最開始的3.0模型到3.5,然後到4.0版本的模型,據說還有更可怕的5.0模型都要快來了,但這些模型的名字就是就叫做GPT,沒錯chat是聊天的意思,GPT才是真正的模型,有了GPT這個AI大模型,我在前面加上chat,訓練一下就變成了聊天和任務的人工智慧;加上draw(畫圖)就變成了drawGPT就是一個可以根據你的需求畫圖的模型;甚至加上video(視頻),還可能變成一個為你直接人工智慧做視頻的模型。

所以一切的一切,本質上其實都是最後面的AI大模型,以及對應的行業數據,這才是一切的核心所在。這個關係就如同一個人高中畢業了,我們讓他去讀醫科大學,他將來就變成一個醫生,會治病;如果讓他去學法律,他將來就成為一個律師,會辯護,這個人本身才是最重要的,也就是模型才是一切的根本。

而這個模型的訓練則是需要龐大的算力等基礎設施,也就是剛才說的上百億規模資金的投入。比如說,買大量的晶片等搭建一個硬體系統和軟體平台,訓練也會使用到非常可怕的電力等投入,消耗大量的能源來對網際網路的知識進行學習。此外,儲存也需要大量的資源,這又是一筆巨大的開支,而且AI大模型參數越多,就越準確。

就以ChatGPT為例子,每一代GPT模型的參數量都快速增長,2019年2月發布的GPT-2參數量為15億,而2020年5月的GPT-3,參數量達到了1750億。而GPT-4是一個擁有1.6萬億參數的大型語言模型,這是指數倍的參數爆炸,而這些參數的訓練對於能源和金錢的消耗真的是比直接燒還要快很多。而這次火山引擎要幹的事情就是要解決成本,以及解決搭建AI大模型基礎設施的各種繁瑣問題。

火山引擎可以幹什麼?

火山引擎就是提供了一個AI大模型訓練的平台,可以讓大模型訓練更穩、更快、更省錢,以及更方便。舉個例子,現在有一個醫療行業,它想訓練一個專門的大模型來幫忙看CT報告,快速的診斷病情,這是一個醫生AI;同時有一個農業部門,它想訓練一個大模型能夠看到植物的狀態,馬上就能夠知道植物出了什麼問題,需要如何進行救援,這是一個農業專家AI。這兩個行業如果想訓練自己的大模型,就需要搭建硬體,也需要自己構建平台,很多行業並不需要涉及這麼深,很可能做起來非常困難,還會遇到各種各樣的系統硬體軟體故障,讓這條路走不通,而火山引擎就可以幫助這些行業和企業解決這個問題。

火山引擎搭建好相應的AI基礎設施,企業就可以專心訓練AI大模型,來貼合自己所需要的AI智能助手。於是各個行業,各個企業都可以利用它來做一個符合自己需求,幫助自己工作的AI出來,這是不是一個非常有意義的事情?

這裡介紹下火山引擎的AI基礎設施。火山引擎機器學習平台,通過預置主流算法框架和自研高性能分布式訓練框架,以及AI訓練和推理一體的AI加速服務,為企業提供高資源利用率、高性能、雲原生、開發體驗友好的一站式AI開發和疊代平台,實現企業研發降本增效、業務創新。基於抖音等業務大規模機器學習的工程實踐和訓練推理優化經驗,火山引擎可支持超大規模GPU並行的訓練場景,全新發布的彈性實例可以靈活調度資源,離線推理成本節省70%,為企業提供「穩、快、省」的AI大模型訓練支持,助力企業突破大模型訓練的技術瓶頸。

此外,火山引擎還宣布與字節跳動國內業務大規模並池,成為首家實現內外資源大規模實時復用的雲廠商。這意味著,抖音等業務的空閒計算資源可極速調度給火山引擎客戶使用,離線業務資源分鐘級調度10萬核CPU、小時級調度數百卡GPU,在線業務資源也可潮汐復用,滿足企業的彈性供給需求,並有極高的性價比。

據了解,火山引擎的大模型雲平台獲得智譜AI、崑崙萬維等眾多企業的良好反饋。而且,國內大模型領域,七成以上已是火山引擎客戶。

我們需要什麼樣的ChatGPT?

其實相比通用聊天機器人,我們可能更需要一個能夠隨時的,幾乎免費為我們讀ct報告,看病的AI醫生;一個擁有全人類法律知識的,能夠為我們提供一小時幾元錢的法律諮詢機器人;一個知道所有基礎教育知識,可以為我們循循善誘解答疑惑的AI老師,還有更多更多。期待能有更多像火山引擎這樣的AI基礎設施在中國發展起來,無數的大中小行業能夠用它低成本的搭建各自的AI助手,是不是我們的生活就能夠得到巨大的改變。

希望我們能夠在這場AI競爭中贏得勝利,像我們的航天通信、高鐵一樣,雖然不是我們發明的,但我們卻能夠走得更快更遠,掌握更高端的技術,改變我們每個人的生活。

關鍵字: