CSDN 蔣濤對話阿里達摩院周靖人:魔搭社區,讓天下沒有難用的 AI 模型

csdn 發佈 2022-11-04T08:00:06.638808+00:00

2012 年,深度學習掀起第三次 AI 浪潮,隨後 2016 年,AlphaGo 第一次戰勝人類圍棋選手,持續引爆 AI 發展浪潮,吸引眾多開發者投身其中。

2012 年,深度學習掀起第三次 AI 浪潮,隨後 2016 年,AlphaGo 第一次戰勝人類圍棋選手,持續引爆 AI 發展浪潮,吸引眾多開發者投身其中。

然而開發者很快發現, AI 從研發到落地部署門檻較高,需投入巨額成本,不僅要有大量數據來訓練模型、優化算法,還要複雜的安裝和部署。如何降低研發和應用的門檻,實現 AI 普惠?如何面向各行各業不同的應用場景,便於開發者快速定製 AI 解決方案?

對此,作為業內頂尖的 AI 研究機構,阿里達摩院在成立五年之際做出重大舉動。11 月 3 日,達摩院聯手中國計算機學會(CCF)開源發展委員會重磅推出AI 模型社區魔搭 ModelScope,首批合作方還包括瀾舟科技、智譜AI、深勢科技、中國科學技術大學等多家科研機構,旨在打造下一代開源的模型即服務共享平台,致力降低 AI 應用門檻。

CSDN創始人&董事長,極客幫創投創始合伙人蔣濤阿里巴巴集團資深副總裁、阿里達摩院副院長周靖人,從魔搭社區的發展歷程出發,共同探討如何讓 AI 更好地服務廣大開發者,推進中國 AI 行業的發展。

破解 AI 應用難題,「讓天下沒有難用的AI 模型」

蔣濤:今天很高興和周老師聊聊魔搭社區的發展歷程。為什麼達摩院要牽頭推出魔搭社區?

周靖人:近年來,AI 模型更新疊代速度飛快,與之相比,AI 應用速度存在一些滯後性。我們觀察到,AI 產業化應用面臨以下挑戰:

一是 AI 模型開發門檻高。AI 模型的複雜性越來越高,預訓練模型尤其是大模型的研發門檻高,例如 Transformer 架構和 Diffusion Model 等訓練起來並不容易,需要大量數據和算力的配合,因此當前只有大公司和研究機構才能對 AI 大模型進行研發和創新。

二是簡單的 AI 模型難以覆蓋各行各業的 AI 應用需求,面對新場景時,往往需要進行二次開發或優化,否則許多模型難以適配到特定環境應用中,AI 模型定製化門檻較高。

三是模型訓練、推理、安裝部署等較為複雜,使用門檻較高。

四是缺乏 AI 模型開發和使用交流分享的平台。當開發者遇到相關問題後,無法找到對應的模型服務,也找不到人來解答他的問題。

針對以上痛點,達摩院提出了新概念「模型即服務」(Model as a Service)。其背後邏輯是把 AI 模型當作生產的重要元素,從模型預訓練到二次調優,最後到模型部署,圍繞模型的生命周期來提供相應的服務。

為實現「模型即服務」理念,需從以下兩點出發:一是提供模型倉庫,收集模型,提供優質數據,還可針對業務場景調優。模型使用和算力需結合在一起,並提供快速體驗模型,讓廣大開發者無需寫代碼就能快速體驗模型的效果。

二是提供抽象接口或 API 接口,以便開發者針對模型進行二次開發。當面對具體應用場景時,提供少樣本或者零樣本的方式便於開發者對模型做二次優化,真正讓模型應用到不同的場景中。

只有做到以上兩點,才能真正實現 AI for Everyone。無論是 AI 興趣愛好者,還是使用者、開發者、研究者,「模型即服務」理念均能承載不同人群對AI 的訴求,進一步落地 AI 應用。

基於「模型即服務」理念,達摩院牽頭推出魔搭社區 ModelScope。社區首批上架超 300 個模型,其中中文模型超過 100 個,覆蓋了視覺、語音、自然語言處理、多模態等 AI 主要領域,覆蓋主流任務超過 60 個。包括150多個 SOTA 模型和十多個大模型,均全面開源並開放使用。

開發者可在社區找到目標模型,進入到模型卡,了解該模型細節,查看演示代碼,進行模型調優等操作。社區提供了豐富的數據集,幫助大家快速上手使用模型。社區基於這些能力,從多維度幫助開發者解決實際在模型使用和開發遇到的難題,推動 AI 應用發展。

蔣濤:達摩院投入了多少資源來打造魔搭社區?

周靖人:自達摩院成立五年以來,在 AI 領域進行大量研究和探索,產出了一批重要的 AI 模型,涵蓋語音、視覺、自然語言處理、多模態等,用於諸多行業。如今,達摩院毫無保留地將這些 AI 模型和能力貢獻到魔搭社區,全力推動社區發展。

然而光靠達摩院的力量並不足以豐富社區生態,因此我們攜手合作夥伴在魔搭上開放眾多優質模型,如瀾舟科技的孟子系列模型,深勢科技的蛋白質結構預測模型 Uni-Fold,智譜 AI 的多語言預訓練模型等。

我們非常高興得到眾多中國AI研究機構和研究人員的支持,包括CCF開源發展委員會的支持,大家紛紛貢獻出自己的優質模型,共同來打造模型即服務的新型AI開源社區。

蔣濤:達摩院傾力打造魔搭社區,其目標和願景是什麼?

周靖人:通過魔搭社區,真正讓 AI 開發變得更簡單,實現 AI 應用的百花齊放。讓更多開發者加入 AI 開發中來,將 AI 模型應用滲透到行行業業,將我國智能化開發推上新台階。我們明白這是一個艱巨的任務,需要長期堅持走下去,因此期待攜手更多合作夥伴和開發者共同參與建設魔搭社區。應該說,魔搭社區的發布,只是一個起點,遠遠算不上里程碑。

蔣濤:以前阿里的 Slogon 是「讓天下沒有難做的生意」,通過魔搭社區的發布,我們看到另一種可能「讓天下沒有難用的 AI 模型」。


關注本土化需求,推動中國智能化發展

蔣濤:我們觀察到魔搭似乎與國外 Huggingface 平台的發展路徑相近,均是將模型開源,為開發者提供開放開源平台。與之相比,魔搭有哪些不同之處?

周靖人:Huggingface 從明星項目 Transformer 庫入手,隨後構建平台讓用戶可以託管相關的機器學習模型和數據集,還可共享、協作與投入生產應用,目前在國外生態蓬勃發展。

在國內,魔搭社區適逢其時,填補 AI 模型應用服務的空白,建設 AI 開發者生態。達摩院作為啟動者,將這五年來所積累的最優模型毫無保留地開放開源給大家,目的為了推進中國 AI 模型社區的發展。從模型類型來看,不光有Transformer,還有Diffusion等多種架構的模型。更重要的是,魔搭更關注本土需求,提供大量中文模型,第一批提供的中文 AI 模型已超過 100 個,覆蓋自然語言處理、語音等常用任務,還提供上述提到的阿里通義大模型系列、瀾舟科技的孟子系列模型等優質中文大模型。

社區希望幫助中國開發者降低 AI 模型使用難度,降低模型的使用門檻。將傳統軟體開發者升級為 AI 開發者,讓他們把 AI 模型集成到實際開發應用中。在智能化時代,每個開發者都將成為 AI 開發者,未來期待和中國開發者共建模型生態。

蔣濤:聊到幫助開發者降低 AI 使用門檻,能否聊聊魔搭所提供的能力與 AutoML 有哪些差異?

周靖人:這兩者從不同的角度降低 AI 使用門檻。AutoML 包括自動選擇模型、特徵集合、模型超參數,自動搜索和裁剪模型結構等等。但是開發者仍然需要準備豐富的訓練數據,初始的模型集合,也需要充足的算力來支持。

魔搭一方面提供訓練好的模型,方便開發者快速集成到他的業務開發中去。另一方面,伴隨大模型的發展,越來越多的的工作可由大模型來實現,如將一個論壇里所有的文章重新學習,進行分類等,大量的基礎工作可通過語言模型或者通過多模態的預訓練模型完成,而後再針對網站文章進行調優,這樣無需耗費大量機器成本,無需耗費大量的時間。

蔣濤:我們可以理解為,魔搭在深度學習和傳統的機器學習上,提供更廣泛的能力。

周靖人:是的。如今預訓練大模型成本較高,屬於技術含量較高的領域。以達摩院為例,預訓練大模型可能需要上百張甚至上千張 GPU 卡,並耗費幾個星期到一個月才能訓練完一個大模型。

魔搭社區將這些大模型開源給大家下載,還可以進行二次訓練。其實達摩院在研發這些大模型時,並不確定大模型的具體應用,沒有提前預知到下游任務。大模型幫助開發者提取、抽象知識,通過下游調優,將下游目標精確化,從而快速形成針對行業的解決模型,解決實際應用問題。

蔣濤:使用魔搭社區來調優後,與開發者沿用傳統的AI開發方式,是否有巨大的效率提升?

周靖人:具體案例要具體分析,有的案例是超過 1:9,即節省了 90% 的工作,當然也有 3:7。魔搭社區目前處於起步階段,後續持續完善,希望開發者多多反饋,溝通交流,共同建設魔搭社區,長期以往,相信未來會提高上述比例,通過社區來解決更多 AI 模型開發難題,提升研發效率。


魔搭的下一步

蔣濤:開發者使用 AI 模型離不開雲,魔搭社區與阿里雲建立了哪些連接?

周靖人:AI 模型涉及大量的數據、算力,線下很難找到適合的機器來跑,AI 模型的開發和使用,越來越跟雲資源緊緊聯繫起來。魔搭社區無縫對接阿里雲兩個重量級產品——機器學習平台 PAI 和彈性計算 ECS,為開發者提供一定的免費資源,助力大家嘗試 AI 模型的開發。

大家登錄到社區後,可關聯阿里雲帳號後,在網站點擊相應的按鈕就能跳轉到阿里的開發環境裡,並集成了系列 SDK ,方便開發者快速下載和開發。

但要說明的是,魔搭社區的模型支持多樣化的訓練和部署方式,用戶可自主選擇,社區堅持開源開放、兼容並包,不做任何綁定。

蔣濤:當社區在國內建設有一些成果後,有可能會考慮發展海外社區建設嗎?

周靖人:目前是面向中國開發者,致力彌補國家智能化生態建設的空白。隨著中國人工智慧技術產業的發展,未來魔搭平台也會走向海外,將 AI 模型能力普惠全球開發者。


點擊 「連結」,立即體驗魔搭社區 modelscope.cn

關鍵字: