AI見聞日報:OpenAI遭客戶抱怨,都怪GPU太缺貨,英偉達訂單竟延到年底?| 見智研究

華爾街見聞 發佈 2023-06-02T06:40:53.546542+00:00

今日要點:1、OpenAI遭客戶抱怨,都怪GPU太缺貨;2、 OpenAI最新訓練方法:用過程監督法降低「幻覺現象」;3、中文AI大模型首個反歧視對抗性開源項目:每個人提出100道「有毒」問題;4、 阿里雲AI助手「通義聽悟」公測,應用落地速度超預期。

今日要點:

1、OpenAI遭客戶抱怨,都怪GPU太缺貨;

2、 OpenAI最新訓練方法:用過程監督法降低「幻覺現象」;

3、中文AI大模型首個反歧視對抗性開源項目:每個人提出100道「有毒」問題;

4、 阿里雲AI助手「通義聽悟」公測,應用落地速度超預期。

海外AI

1、OpenAI遭客戶抱怨,都怪GPU太缺貨

OpenAI目前遭到客戶最大的抱怨是API的可靠性和速度。OpenAI的CEO Sam Altman 承認當下GPU非常緊缺,這不得不推遲了許多的短期計劃,微調 API 、專用容量產品都受到GPU 可用性的限制。不過,OpenAI還會提供專用容量,為客戶提供模型的私人副本,但如若訪問此服務,客戶必須預先承諾支付100萬美元。

此外,Sam Altman重申了他對開源重要性的信念,並表示OpenAI正在考慮開源GPT-3。

見智研究認為:在生成式AI需求的推動下,GPU產品會面臨持續性的缺貨和漲價,英偉達目前的交貨周期還在不斷拉長,從之前一個月到現在基本上需要三個月或者更久,甚至部份訂單到年底才能交付。

GPU與CPU最大的不同就是擁有大量的並行計算單元,可以同時執行多個任務,特別是在大模型處理數據的時候能夠顯著提高速度,因此GPU的不足會直接影響API(程序之間的接口)之間的傳輸速度。

此外,大模型的開源路徑已經成大勢所趨,無論是語言大模型還是多模態大模型,Meta、Google以及Stable Diffusion都紛紛選擇開源,現在連封閉大模型鼻祖openAI也選擇逐漸開源的路徑,可見大模型的發展趨勢已經明朗。

2、OpenAI最新訓練方法:用過程監督法降低「幻覺現象」

OpenAI發表最新的論文:《Let's Verify Step by Step》通過獎勵每一個正確的推理步驟("過程監督"),而不僅僅是獎勵正確的最終結果(「結果監督」),對思考鏈條中的每一個單獨步驟提供反饋,能夠極大解決諸如GPT4「胡說八道」和邏輯錯誤的這種「幻覺現象」。

見智研究認為:無論是過程監督還是結果監督都是對大模型生成結果可靠性和準確性的一種訓練機制,而從過程開始監督的方式會比獎勵正確結果的表現更快速,優先評估過程會使得結果可靠性更趨向於人類所期待的,從而排除更多推理結果錯誤的概率。

但是,過程監督仍也存在一定的難度:數據獲取過程長,需要收集數據訓練的完成過程,包括輸入和響應操作以及決策,時間跨度更大,同時增加了樣本的複雜性以及成本。

國內AI

1、中文AI大模型首個反歧視對抗性開源項目:每個人提出100道「有毒」問題

業內首個大語言模型治理開源中文數據集100PoisonMpts發布,十多位知名專家學者成為了首批「給AI的100瓶毒藥」的標註工程師。標註人各提出100個誘導偏見、歧視回答的刁鑽問題,並對大模型的回答進行標註,完成與AI從「投毒」和「解毒」的攻防。

相比國外廠商的治理方法,100PoisonMpts數據集在技術方法有幾個特點:

更完整的標註流程。標註人同時設置問題、對回答質量排序、對最優回答評分、並人工改寫回答。

更隱性的問題領域。如首批數據就重點針對了反歧視領域,包含人群、知識、法律等多維度複雜問題。

探索更全面的有效性。標註數據對模型在繼續訓練、微調、強化學習、線上服務等多環節產生效益。

見智研究認為:數據標註是在大模型過程中至關重要的步驟,用標註後的「安全數據集」進行模型訓練才能夠得到趨近理想的訓練結果。但是數據標準一直伴隨有主觀、宗教、個人偏好的特色,所以如果用國外的數據集進行訓練,某種程度上會「水土不服」,而搭建本地訓練數據集就顯得非常重要。中文AI首個反歧視對抗項目凝聚力眾多行業專家,之後會成為國內開源大模型訓練的高標準數據集之一。

2、阿里雲AI助手「通義聽悟」公測,應用落地速度將超預期

阿里雲智能發布了工作學習AI助手「通義聽悟」,開始正式公測。可作用在會議討論、教學培訓、調研訪談、視頻觀看等場景,可進行實時語音識別,實現對話的實時記錄、多語言翻譯、發言總結、提取PPT、內容規整等。

值得關注的是:在內容總結方面,飛書妙記還只能給出關鍵詞;而針對不同嘉賓的發言,聽悟都能給出對應的發言總結。

聽悟已經和阿里雲盤打通,存放在雲盤中的音視頻內容可以一鍵轉寫,在線播放雲盤視頻時還能自動顯示字幕。並且在企業版本中,AI整理後的音視頻文件將來還可以在內部快速分享。

見智研究認為:國內大模型在應用領域的落地進展非常迅猛,通義聽悟主要應用於音頻、視頻領域,為用戶帶來音頻和視頻內容記錄和閱讀的全新體驗。而傳統軟體的用戶粘性很快就會被打破。

通義聽悟是採用阿里達摩院的語音識別模型Paraformer,不僅在推理效率上較傳統模型提升10倍,剛推出時還「屠榜」多個權威數據集,刷新語音識別準確率SOTA。在專業第三方全網公共雲中文語音識別評測SpeechIO TIOBE白盒測試中,目前,Paraformer-large仍是準確率最高的中文語音識別模型。

此外,更應關注語音大模型在移動端的應用進展,比如智能音箱就是非常好的埠。

本文來自華爾街見聞,歡迎下載APP查看更多

關鍵字: