解決AI落地的最大障礙,OpenAI找到辦法了?

華爾街見聞 發佈 2023-06-01T13:08:02.246890+00:00

5月31日,OpenAI在其官網宣布,已經訓練了一個模型,能夠有助於消除生成式AI常見的「幻覺」和其他常見問題。

OpenAI似乎找到了解決生成式人工智慧「一本正經胡說八道」的辦法。

5月31日,OpenAI在其官網宣布,已經訓練了一個模型,能夠有助於消除生成式AI常見的「幻覺」和其他常見問題。

OpenAI表示,可以訓練獎勵模型來檢測幻覺,獎勵模型又分為結果監督(根據最終結果提供反饋)或過程監督(為思維鏈中的每個步驟提供反饋)模型。

也就是說,過程監督獎勵推理的每個正確步驟,而結果監督只是簡單地獎勵正確的答案。

OpenAI表示,相比之下,過程監督有一個重要的優勢——它直接訓練模型以產生由人類認可的思維鏈

過程監督與結果監督相比有幾個一致性優勢。它直接獎勵遵循一致的思維鏈的模型,因為過程中的每一步都得到了精確的監督。

過程監督也更有可能產生可解釋的推理,因為它鼓勵模型遵循人類批准的過程

結果監督可能會獎勵一個不一致的過程,而且通常更難審查。

OpenAI在數學數據集上測試了這兩種模型,發現過程監督方法導致了「顯著更好的性能」。

但需要注意的是,到目前為止,過程監督方法僅在數學領域進行了測試,並且需要更多的工作來觀察它如何更普遍地執行。

此外,OpenAI沒有說明這一研究需要多長時間才能應用在ChatGPT,它仍然處於研究階段。

雖然最初的結果是好的,但OpenAI確實提到,更安全的方法會產生降低的性能,稱為對齊稅(alignment tax)。

目前的結果顯示,在處理數學問題時,過程監督不會產生對齊稅,但在一般的信息上的情況尚不知曉。

生成式AI的「幻覺」

生成式AI問世以來,圍繞其編造虛假信息、「產生幻覺」的指控從未消失,這也是目前生成式AI模型最大的問題之一。

今年2月,谷歌為應對微軟資助下ChatGPT,倉促推出了聊天機器人Bard,結果卻被發現在演示中出現了常識性錯誤,導致谷歌股價大跌。

導致AI出現幻覺的原因有多種,輸入數據欺騙AI程序進行錯誤分類是其中一種。

例如,開發人員使用數據(如圖像、文本或其他類型)來訓練人工智慧系統,如果數據被改變或扭曲,應用程式將以不同的方式解釋輸入並產生不正確的結果。

幻覺可能會出現在像ChatGPT這樣的基於語言的大型模型中,這是由於不正確的轉換器解碼,導致語言模型可能會產生一個沒有不合邏輯或模糊的故事或敘述。

本文來自華爾街見聞,歡迎下載APP查看更多

關鍵字: