GPU、GPU還是GPU，AI掀起的「算力革命」不僅讓幾乎壟斷GPU市場的英偉達成了聚光燈下的焦點，也讓OpenAI CEO在一次又一次的訪談中大談GPU短缺問題。
5月29日，Humanloop，一家從事機器學習和人工智慧的初創公司，其CEO Raza Habib邀請了包括OpenAI CEO Sam Altman在內的20位開發人員共通探討人工智慧的未來，而整個討論中最重要的主題便是——GPU短缺是最大瓶頸。
Altman表示，目前OpenAI的客戶最不滿的便是API的可靠性和速度，而這個問題主要就是GPU短缺造成的。
OpenAI嚴重依賴GPU
Altman表示，他們的下一步計劃就是不斷更新GPT-4，讓其更便宜，更快，而在發展過程中遇到的最大瓶頸便是GPU短缺，訪談中指出：
長度為32k的上下文窗口還未到推廣時機，OpenAI還未能克服技術上的障礙，主要是因為算法的高複雜性。雖然很快就會有10萬—100萬新的32K上下文窗口token，但提供更多的訪問token則需要技術和研究上突破。
微調（Fine-Tuning）API目前也受到GPU可用性的限制。他們還沒有使用像Adapters或LoRa這樣的高效微調方法，所以微調運行和管理需要高精度的計算。將來會有更好的微調支持。他們甚至可能主持一個社區貢獻模型的市場。
OpenAI提供的專用容量服務受到GPU的限制。當用戶請求使用專用容量時，OpenAI需要確保有足夠的GPU可供分配給用戶。然而，由於GPU資源有限，供應有限。要使用這項服務，客戶必須願意預付10萬美元的費用。
對於OpenAI未來的發展，Altman表示，在2023年OpenAI的目標是儘可能降低「智能的成本」，繼續降低API的成本：
更便宜、更快的GPT-4 —— 首要任務。
更長的上下文窗口 —— 在不久的將來，高達一百萬的上下文窗口token。
微調（Fine-Tuning）API —— 微調API將擴展到最新的模型，但確切形式將由開發者表明他們真正想要的東西後來塑造。
支持會話狀態的API —— 現在當你調用聊天API時，你必須反覆重複歷史對話，並反覆支付同樣的tokens。在未來，API將有一個記住對話歷史的版本。
到2024年，GPT-4的多模態——當前的多模態已作為GPT-4的一部分公布，但在GPU算力瓶頸突破後才能擴展到所有人。
在5月16日舉行的AI國會聽證會上，Altman就已經表達了對算力瓶頸的擔憂：由於計算能力瓶頸，如果使用ChatGPT的人少一些會更好。
除了對未來算力瓶頸的擔憂外，對於ChatGPT的未來，Altman還表示，儘管許多開發者都表達了在API中融入ChatGPT插件的興趣，但可能不會很快發布：
插件目前沒有達到產品市場契合度（PMF），並且不會很快在API中出現。除了瀏覽之外，插件的使用情況表明他們還沒有和市場達到最佳的契合點。
很多人認為他們希望他們的應用程式在ChatGPT中，但他們真正想要的是在他們的應用程式中可以使用ChatGPT。
Altman稱，OpenAI將避免與他們的客戶競爭，他們的目標是將ChatGPT打造成一個超級智能的工作助手：
很多的開發者說，他們在使用OpenAI的API構建產品時，擔心OpenAI最終會發布他們的競品。但OpenAI未來不會發布超過ChatGPT的更多產品。
歷史上看，每一個偉大的平台公司都有一個「殺手級」應用，ChatGPT的作用是協助客戶讓他們的產品變得更好。ChatGPT的願景是成為一個超級智能的工作助手，但也會有很多OpenAI不會觸及的其他GPT使用案例。
對於未來的監管，Altman呼籲加強對未來的模型進行監管，但他並不認為現有的大模型存在危險。現在對它們（大語言模型）進行監管或禁止他們的發展是一個大錯誤。
Altman也重申了開源的重要性，並說OpenAI正在考慮開源GPT-3。
Altman表示，「巨型模型時代」已經結束，這樣的表述並不準確：
OpenAI的內部數據表明，模型性能的比例定律仍然存在：當模型大小呈指數增長時，相應的模型性能呈線性增長。
但因為OpenAI在短短几年內已經將模型擴大了數百萬倍，未來這樣做將不可持續。
這並不意味著OpenAI未來不會繼續嘗試將模型規模擴大，只是意味著它們可能每年只會增加一倍或兩倍，而不是增加許多個數量級。
縮放定律繼續有效的事實對AGI開發的時間線有重要的影響。縮放假設是我們可能已經有了構建AGI所需的大部分部件，剩下的大部分工作將是將現有的方法擴展到更大的模型和更大的數據集。如果巨型模型時代結束，那麼我們可能應該預期AGI會更遠。縮放法則繼續有效暗示了更短的時間線。
本文來自，歡迎下載APP查看更多