支持超過75款AI大模型!高通正式推出高通AI Hub

機智貓 發佈 2024-02-26T17:52:12.695131+00:00

在本屆世界移動通信大會(MWC24)上,高通帶來了一系列的最新AI技術創新成果。這兩年AI已經成為全行業重點關注的體驗,尤其是最近這段時間,終端側AI在手機、PC等設備上的部署和應用已經成為了大趨勢。

在本屆世界移動通信大會(MWC24)上,高通帶來了一系列的最新AI技術創新成果。

這兩年AI已經成為全行業重點關注的體驗,尤其是最近這段時間,終端側AI在手機、PC等設備上的部署和應用已經成為了大趨勢。高通認為,終端側AI已經到來,為了能夠給開發者提供更多的支持,賦能其打造全新的、令人期待的應用。高通在本屆MWC上宣布推出全新的高通AI Hub。

高通AI Hub是為開發者提供全面優化的AI模型庫,包括傳統AI模型和生成式AI模型,能夠支持在驍龍和高通平台上進行部署,開發者能夠通過高通AI Hub更便利地基於驍龍或高通平台打造AI應用。

有了高通AI Hub的幫助,開發者打造AI應用將會變得簡單和高效。開發者可以選擇應用所需的模型(例如Baichuan-7B),以及其開發應用所使用的框架(例如Pytorch、Tensorflow)。然後開發者只需要確認目標平台,例如一款特定型號的手機、或者一款特定型號的高通平台。確定以上信息後,高通AI Hub就可以為開發者提供面向其指定應用、指定平台進行優化的模型。開發者只需要幾行代碼就可以獲取模型,並將模型集成進應用程式。

據了解,高通AI Hub將支持超過75個AI模型,包括傳統AI模型和生成式AI模型。通過對這些模型進行優化,開發者運行AI推理的速度將提升高達4倍。同時優化後的模型占用的內存帶寬和存儲空間也將大大減少,從而實現更高的能效和更持久的電池續航。

與此同時,在本屆MWC展會上,高通還帶來了一系列先進的AI技術的應用。

高通展示了全球首個在搭載第三代驍龍8的Android手機上運行的多模態大模型(LMM)。該LMM模型支持超過70億參數,不僅能夠接受文本輸入,還可以接受圖像、音頻等其它輸入數據類型,並能夠基於輸入的內容進行多輪對話。

該模型能夠實現豐富而強大的應用體驗。比如你可以拍攝一張食物照片,然後詢問AI:這些食材都是什麼?根據這些食材能夠做什麼菜?每道菜的熱量是多少?AI助手就能夠基於視覺內容提供豐富的信息。

特別值得一提的是,該模型所有的AI功能完全在終端側運行,能夠以非常及時的響應速度生成token,並且更好地保護隱私。

在搭載全新驍龍X Elite平台的Windows PC上,高通帶來另一個多模態AI的演示。這是全球首個在Windows PC上運行的音頻推理多模態大模型,它能理解鳥鳴、音樂或家中的不同聲音,並且能夠基於這些信息進行對話,為用戶提供幫助。

該多模態大語言模型能夠理解用戶輸入的音樂類型和風格,為用戶提供音樂的歷史以及相似的音樂推薦,或通過對話的方式為用戶調節周圍的音樂。同樣,以上模型經過優化,能夠實現出色的性能和能效,並完全在終端側運行,以充分發揮驍龍X Elite的強大能力,增強隱私性、可靠性、個性化以及成本優勢。

高通還展示了首個在Android手機上運行的LoRA模型。LoRA能夠在不改變底層模型的前提之下,調整或定製模型的生成內容。通過使用很小的適配器(大小僅為模型的2%,便於下載),就能夠個性化定製整個生成式AI模型的行為。

在演示中,模型能夠根據不同個人或藝術偏好創建高質量自定義圖像。LoRA是面向終端側生成式AI的關鍵技術,它能夠提升效率,可擴展性以及定製化能力。這一技術不僅能夠運用於圖像生成,也可以應用於大語言模型等多種生成式AI模型,是實現個性化生成式AI的高效方式。

高通一直致力於將智能計算擴展至邊緣側幾乎所有類型的終端,包括PC、汽車、智慧型手機、Wi-Fi設備、網絡基礎設施等,並為其帶來無與倫比的連接、領先的邊緣AI以及高性能低功耗處理能力。憑藉這些特性,OEM廠商和開發者能夠更好地打造具備智能計算能力的終端,為我們帶來更具生產力、更加便捷、更有趣的生活,並推動社會進步與發展。

關鍵字: