復旦教授邱錫鵬:MOSS大模型擬3月底開源

澎湃新聞 發佈 2024-05-01T05:38:55.600025+00:00

·「大型語言模型幾乎被國外壟斷,並且他們只開發API或不開放給我們,我們就沒有關於大型語言模型的一手材料。我們希望把MOSS以及模型代碼和開發經驗分享給大家,希望國內在大型語言模型方面能夠站在世界前沿。

·「大型語言模型幾乎被國外壟斷,並且他們只開發API或不開放給我們,我們就沒有關於大型語言模型的一手材料。我們希望把MOSS以及模型代碼和開發經驗分享給大家,希望國內在大型語言模型方面能夠站在世界前沿。」

復旦大學計算機科學技術學院教授、上海市計算機學會自然語言處理專委會主任邱錫鵬。

2月21日,國內第一個對話式大型語言模型MOSS由復旦大學邱錫鵬教授團隊發布至公開平台,一經發布便引起高度關注。26日,復旦大學計算機科學技術學院教授、上海市計算機學會自然語言處理專委會主任邱錫鵬在2023全球人工智慧開發者先鋒大會(GAIDC)上談起了MOSS,「對話式大型語言模型MOSS大概有200億參數。和傳統的語言模型不一樣,現在對話式語言模型具有和人類的交互能力,這個Moss是基於公開的中英文數據訓練。」

據上觀新聞此前報導,MOSS可執行對話生成、編程、事實問答等一系列任務,打通了讓生成式語言模型理解人類意圖並具有對話能力的全部技術路徑。這條路徑的走通,為國內學術界和產業界提供了重要經驗,將助力大語言模型的進一步探索和應用。

邱錫鵬透露,「MOSS大模型計劃在一個月之內,和人類不斷交互,進行優化,順利的話將於3月底開源。」

在邱錫鵬看來,開源是人工智慧發展如此快速的原因之一。「從早期可能以10年為單位發展,到最近幾年可以看到,以大型預訓練模型、大型模型推動AI發展,它的突破性模型發展時間大概已經縮短到以年為單位,人工智慧已經成為計算機學科里發展最快的領域之一。背後的原因是什麼呢?離不開兩個字,就是開源。」

這背後的邏輯在於,開源讓整個科研過程形成良性閉環。「一個科研人員如果提了一個新算法,這個算法基本上既有基於前人開源的代碼或模型基礎,又有成果更新。之後,再把這個成果開源出去,這樣就可以形成一個閉環。」邱錫鵬說,「現在我們做AI開發離不開深度學習的開源框架,它對我們的科研起到了非常大的促進作用。」

邱錫鵬認為,這解釋了為什麼ChatGPT對AI的編程等十分擅長,但對傳統領域的知識回答不是很好。原因在於,網上有非常多AI行業的相關資料可以學習,有非常多的代碼可以學習,基本上可以疊代。「有一天我們可以期待,是不是可以讓像ChatGPT之類的大型模型幫助我們自動寫一寫AI代碼,從而更加加速我們的AI閉環。」

這也是邱錫鵬選擇開源MOSS大模型的原因。他說,「我們也想把MOSS貢獻給學術界和商業界,使得我們學術界能夠直接接受大型語言模型的一手材料。因為大型語言模型幾乎被國外壟斷,並且他們只開發API或不開放給我們,我們就沒有關於大型語言模型的一手材料,這就對我們形成非常大的挑戰。我們希望把MOSS以及模型代碼和開發經驗分享給大家,希望國內在大型語言模型方面能夠站在世界前沿。」

最後,邱錫鵬提醒道,「我們在享受人工智慧技術帶來紅利的同時,也要對新技術高速疊代與迅猛發展所帶來的未知風險保持警惕。從安全到法律,從倫理到責任,在每個行業和領域中都需要制定相應規範約束,並建立有效監管機制。同時,在面對國際競爭與合作時也要保持清醒頭腦,並積極參與全球AI體系建設與治理。」

關鍵字: