編輯：桃子 好睏

【新智元導讀】當社會的焦點都放在打造「ChatGPT級」應用時，熱潮之外我們還應做什麼。

自2022年11月，ChatGPT上線後，一路開掛。短短兩個月，用戶量破億。

與此同時，國外微軟、谷歌、Meta等科技巨頭紛紛下場，發布自家AI產品和模型，可謂來勢洶洶。

在國內，高校機構、大廠，甚至是個人也加入了陣列。

當大家都在狂熱追逐催生更多的「ChatGPT級」應用時，或許應該回歸理性思考。

要看到，ChatGPT背後的大模型只是海平面上的冰山一角，而水平面下的人工智慧技術底層創新才是重中之重。

2月28日，智源研究院最新發布了FlagOpen飛智大模型技術開源體系，踐行的正是這個理念。

大模型「圍城」之困

ChatGPT的難或它的成功，不在於我們看到的Chat部分，更重要的是下面有一個很強的基座——GPT3.5。

如果沒有預訓練的語言大模型，也就出現不了ChatGPT。

可惜的是，目前為止該模型還未開源。

此外，從stateof.ai總結的2022年人工智慧現狀報告中也可以看出，開源模型可謂是寥寥無幾。

除了EleutherAI的GPT-J/GPT-NeoX外，還有Meta推出的OPT、BigScience開源的集1000多人研發的BLOOM等。

但有趣的一點是，最終讓生成式AI迎來大爆發，並且催生出所有人都為之狂熱的ChatGPT的，還是開源的Stable Diffusion。

從PC時代Linux打破Wintel聯盟的壟斷，到iOS的封閉生態和Android的准封閉生態下RISC-V開源的崛起。

如今，我們又該如何防止歷史在人工智慧領域的重演？

其實Linux和RISC-V已經告訴我們如何解決，只是這一次，我們需要從開始就走開源開放的道路。

從這個角度來看，人工智慧範式的轉變，開源大模型功不可沒。

如何煉造一個好模型

正如吳恩達所提出的「更好的機器學習=80%的數據 + 20%的模型」，數據是提升大模型的關鍵要素。

當前，大型語言模型的思路就是，儘可能把大量的數據通過Transformer架構進行機器學習，進而從數據中獲取足夠多的能力。

就在前幾日，Meta發布了開源大語言模型LLaMA，只用1/10參數就打敗了GPT-3。而其中用到的訓練數據就高達1.4萬億個token。

但問題在於，網際網路上的數據並非可以拿來即用，因此在大模型的訓練過程中使用人工標註就非常重要。

尤其對於像ChatGPT這樣的語言模型，一不小心就出口成髒，甚至發表性別歧視、種族主義等有害內容。巨大的數據集讓GPT-3模型擁有強大的能力同時，但也讓它背負了最大的詛咒。

對語料庫進行清洗並沒有捷徑，即便是一個由數百人組成的團隊也需要數十年的時間才能手動瀏覽完龐大的數據集。

那麼，接下來的問題是，到底什麼樣的模型才是一個好的大模型？

若僅是單純比較參數大小，就會缺失了效率等維度。若只看跑分高低，就也看不出落地的效果。

因此，真正公正、開放的評測基準和工具不僅可以兼顧理解和生成等自然語言處理領域，而且還要能夠回應行業AI模型的差異化、特點鮮明等現狀。

來自機器中文語言理解和生成能力評測基準-智源指數

回到最初的問題，如果想要創造性地造出「ChatGPT級」的大模型，剛剛提到的開源模塊，例如模型算法、數據處理工具、模型評測工具等，都是必不可少的。

由智源研究院與多家企業、高校和科研機構共建的大模型技術開源體系FlagOpen，在努力做相關建設。

FlagOpen：打造大模型領域的「新Linux」生態

據介紹，FlagOpen這個開源算法體系和一站式基礎軟體平台，並不是要去做一枝獨秀的大模型，而是更希望將積累的大模型技術棧貢獻給整個社區，打造大模型研究的開源創新環境。

其中，FlagOpen包括了算法（FlagAI）、數據（FlagData）、評測（FlagEval）等關鍵性開源組件。而從上文的分析中不難看出，這些實際上都是實現大模型創新的重要組成部分。

具體來看，FlagOpen在算法方面推出的FlagAI，集成了全球各種主流大模型算法技術，如語言大模型OPT、T5，視覺大模型ViT、Swin Transformer，多模態大模型CLIP等，以及以及多種大模型並行處理和訓練加速技術，支持高效訓練和微調。

並且還有智源研究院提供的「悟道2.0」通用語言大模型GLM，「悟道3.0」視覺預訓練大模型EVA，視覺通用多任務模型Painter，文生圖大模型AltDiffusion（多語言），文圖表徵預訓練大模型（多語言）等等。

項目地址：https://github.com/FlagAI-Open/FlagAI

在數據方面，FlagOpen構建了全球最大WuDaoCorpora語料庫，中文世界首個開放數據標註平台OpenLabel，以及集成了清洗、標註、壓縮、統計分析等功能的FlagData。

項目地址：https://github.com/FlagOpen/FlagData

而在模型評價方面，學術界一直缺乏能涵蓋多種模態領域、多種評測維度的統一化評測體系和項目。尤其在AIGC的發展浪潮下，如何對生成任務進行更高效、更客觀的評價，是阻礙大模型落地的重要制約。

為此，智源研究院聯合了多個高校團隊，共同打造了覆蓋多個模態領域、包含評測維度的評測工具FlagEval。理論上可以為自然語言處理、計算機視覺等領域的模型訓練與部署提供了性能數據層面的有力支撐。

項目地址：https://github.com/FlagOpen/FlagEval

最後，FlagOpen甚至還在非常容易被忽視的AI硬體評測方面，提出了不以排名為核心目標的FlagPerf。

雖然很少被人提及，但實際上我們在這一領域面臨著諸多挑戰——AI軟硬體技術棧異構程度高、兼容性差，應用場景複雜多變等等。

而FlagPerf探索的，便是一套開源、開放、靈活、公正、客觀的AI硬體評測體系。

基於此，則可以進一步地建立支持多種深度學習框架、最新主流模型評測需求、易於AI晶片廠商插入底層支撐工具的AI系統評測生態。

目前，FlagPerf已經和天數智芯、百度PaddlePaddle、崑崙芯科技、中國移動等展開了深度的合作。

項目地址：https://github.com/FlagOpen/FlagPerf

總結來說，FlagOpen的特點如下：

• 少量代碼，開箱即用

在FlagOpen的加持下，開發者可以快速開啟各種大模型的嘗試、開發和研究工作，企業可以低門檻進行大模型研發。

• 開源開放，持續更新

FlagOpen本身也在努力實現對多種深度學習框架、多種AI晶片的完整支持。

踏實科研，貢獻生態

ChatGPT就像造出的發電機一樣可以發電，但也不過僅是點亮了一個街區。

若讓它走進千家萬戶，建設起全球的電網，仍然有很長的路要走。

OpenAI的勝利，是技術理想主義的勝利。

這背後的思路說明了，不論是企業，還是學界、各種資源協同焦點都應該放在不斷創新、進行大量的技術研究，以及廣泛的合作上。

目前來看，越來越多的產品不同程度上是建立在開源基礎之上，這是一個大趨勢。它的優勢就在於集約化，不用重複的研發投入。

開源，站在「巨人的肩膀」上搞研發，是人類智慧匯聚的一種方式，是讓產業更快發展的一種方式。

這個時代需要一個像Linux操縱系統平台一樣的體系，集算法、模型、數據、工具、評測於一體的體系。

智源人工智慧研究院，不僅是中國最早進行大模型研究的學術機構之一，也致力於推動人工智慧開源開放生態建設。

2020年，智源啟動「悟道」大模型項目，集結100多名中國人工智慧領域頂尖學者進行大模型攻關研究，基於「悟道」項目創造了一系列大模型研究創新成果。

在生態貢獻方面，智源牽頭髮布了FlagOpen大模型技術開源體系，推進大模型時代的「新Linux」開源開放生態建設。

結合當下ChatGPT熱潮，智源研究院院長黃鐵軍認為，

AI現象只是大模型技術「海平面以上」的冰山一角，其超強的智能能力來源於其依託的千億級參數規模的基礎語言大模型，深藏於「海平面以下部分」的基礎大模型技術研發體系才是更值得關注的部分。

我們應該從長遠考慮，打好根基，形成完整的大模型技術體系及強大的資源能力，未來才能催生出更多的「ChatGPT級」的現場級應用。

恰恰，FlagOpen就是為了建立大模型技術體系而開展的基礎性工作，通過開源開放的形式促進各類機構共創共享，形成良好生態，共同打牢大模型發展根基。

目前，FlagOpen已經與Linux基金會、Stability AI等全球開源代表組織與機構積極合作，加快建設面向全球的大模型技術開源生態。

就像Linux、Risc-V，以及PyTorch轉入Linux基金會一樣，我們需要這樣的開源。

而FlagOpen大模型技術開源體系，很可能就是開啟大模型時代「新Linux」生態的那一把鑰匙。

參考資料：

https://mp.weixin.qq.com/s/i9z_Z4Rk32u1oAomFFHCEQ