每經記者：李少婷 每經編輯：文多
圖片來源：主辦方提供
「未來的10年內，我們可能會擁有超強的AI系統。」6月10日上午，在2023北京智源大會「AI安全與對齊」專題論壇上，OpenAI聯合創始人Sam Altman（以下稱薩姆·奧特曼）對話北京智源人工智慧研究院（BAAI）理事長張宏江時說道。
大模型時代，如何確保越發強大和通用的人工智慧系統安全可控，且符合人類意圖和價值觀？這一問題可能是本世紀人類社會面臨的最緊迫和最有意義的科學挑戰之一。
在薩姆·奧特曼看來，隨著越來越強大的人工智慧系統出現，全球合作的價值變得前所未有的重要。他指出，推進人工通用智能系統（AGI）安全是各方尋找共同利益的重要領域之一。
薩姆·奧特曼介紹，GPT-4從完成預訓練到部署，花了8個月的時間來研究如何前置預判風險並給出對策，「GPT-4的對齊程度超過當前所有的代碼」。
薩姆·奧特曼呼籲，必須為魯莽的開發和部署可能引發的問題負起責任。援引《道德經》中的「千里之行，始於足下」後，他表示：「最有建設性的第一步是與國際科技界展開合作，推動建立一個關於增加AGI安全技術發展方面的透明度和知識共享的機制，發現緊急問題的研究人員應該與更多人共享研究成果」。
在回應張宏江關於國際合作的相關問題時，薩姆·奧特曼指出，中國擁有一些世界上最優秀的AI系統，從根本上講，他認為這使研究人員在解決許多不同的AI系統的問題上，面臨困難。中國是世界上最好的地方，他真誠希望中國和美國的研究人員能對此做出巨大貢獻。
以下為演講及問答實錄，有部分刪減——
薩姆·奧特曼的演講
「我們必須為魯莽的開發和部署可能引發的問題負起責任」
薩姆·奧特曼 圖片來源：主辦方提供
我最近在做全球巡迴的訪問，期間穿越五大洲近20個國家，接觸了諸多的學生、開發者，這趟出行令人振奮，我們見證了全球各地的人們利用OpenAI的新技術來改變生活方式，我們也獲得了非常寶貴的意見，以便於讓我們的工具優化得更好。此外，我也有機會拜訪了多位外國領導人，討論確保越來越強大的人工智慧系統安全部署所需的各種基礎工作。
坦白說，世界的注意力主要集中在解決當今的人工智慧問題上，很多問題的解決非常迫切，我們還有很多工作要做，不過鑑於我們已經取得的進展，我相信我們會實現目標。
今天，我想談談未來。具體來說，我們正在看到人工智慧能力的迅速增長，現在需要做的是負責任地將其應用到世界中去。科學的歷史告訴我們，技術進步遵循指數曲線。這在農業、工業和計算革命中得到了驗證。現在，我們親眼目睹人工智慧變革，不僅因為我們正在見證它，而且因為它帶來的變革速度。
它正在迅速拓展人類的想像力。想像一下，在未來十年，人工通用智能系統（常稱為AGI）將會超過上世紀90年代初人類所具備的專業水平，這些系統最終可能超過人類最大體量公司的總體生產力。這裡的潛在收益是巨大的。
人工智慧革命將帶來可共享的財富，使改善人類互動標準成為可能，但我們必須管理好風險，並共同努力來實現預期目標。我時常感謝一些人放棄他們應有的權益來實現人類共同的目標，在今天很多領域仍然如此——大國之間經常通過合作的方式來實現共同目標，這種形式的合作對關鍵的醫學和科學進展都會帶來好處，比如根除小兒麻痹症和天花等疾病，以及全球減少氣候變化風險的努力。
隨著越來越強大的人工智慧系統的出現，全球合作的利益變得前所未有的重要。如果我們不做好規劃，一個設計用於改善公共衛生結果的未對齊的AI系統，可能會通過提供不平衡的建議來破壞整個集體系統。同樣，一個旨在優化農業實踐的人工智慧系統可能會無意中損害經濟和造成資源消耗，缺乏對長期可持續性的考慮，從而影響食物生產和環境平衡。我希望我們都能認同，推進AGI安全是我們尋找共同立場的最重要領域之一，我希望把時間都集中在我們已經開始的領域。
其中一個領域是AGI治理。AGI的力量可以從根本上改變我們的文明，這突顯了有意義的國際合作、協調的必要性，每個人都會從積極的治理方法中受益。如果我們將這個核心的最先進政策網絡化，AGI系統可以為全球經濟創造無與倫比的經濟豐富，解決共同的挑戰，如氣候變化、全球健康安全，並在無數其他方面提升社會福祉，我深信這也是未來。我們深處同一個星球，需要明確投資AGI的安全性的意義。
我們必須為魯莽的開發和部署可能引發的問題負起責任，其中最重要的兩個領域是：首先，我們需要建立起包容的國際準則和標準，並在所有國家對AGI的使用中建立平等、統一的防護措施。其次，我們需要國際合作，以可驗證的方式在全球範圍內建立對越來越強大的AGI系統安全開發的信任，我知道這並不容易。
在國際社會上，我們需要對安全進行長期的關注和投入，以確保我們做得正確。《道德經》提醒我們，「千里之行，始於足下」，最有建設性的第一步是與國際科技界展開合作，推動建立一個關於增加AGI安全技術發展方面的透明度和知識共享的機制，發現緊急問題的研究人員應該與更多人共享研究成果。
我們需要更加深入地思考如何在鼓勵推動國際合作的同時尊重和保護智慧財產權。如果我們做得好，這將為我們打開深化合作的新大門。更廣泛地說，我們應該推動並引導與安全研究一致的投資。
當前，我們關注的是如何使AI系統成為一個有益和安全的助手，這對應的是如何訓練模型，使其在沒有安全威脅的前提下發揮積極作用，不過，隨著AGI時代的接近，其帶來的潛在影響、問題將呈指數級增長，所以，我們需要通過主動應對AGI帶來的潛在挑戰，將未來災難性後果的風險降至最低。
從GPT-4完成預訓練到部署，我們花了八個月的時間來研究如何前置預判風險並給出對策。我們認為我們走在了正確的道路上，GPT-4的對齊程度超過當前所有的代碼。不過，對於更高級的系統，對齊仍然是一個尚未解決的問題，我們認為需要新的技術方法以及加強治理監督，畢竟未來的AGI，可能是一個十萬行二進位代碼的系統。
人類監督者很難判斷如此規模的模型是否在做一些有害的事情。因此，我們正在投資於幾個新的，並且希望能取得成果的方向，其中之一是可擴展的監督，嘗試使用AI系統來協助人類監督其他AI系統。例如，我們可以訓練一個模型來幫助人類監督員找出其他模型代碼中的缺陷。
第二個方向是可解釋性。我們希望更好地理解模型內部發生的事情，我們最近發表了一篇論文，使用GPT-4來解釋計算機的複雜狀態。雖然還有很長的路要走，但我們相信先進的機器學習技術可以進一步提高我們解釋的能力。
最終，我們的目標是訓練AI系統具備更好地優化自身的能力，這種方法的一個有前景的方面在於——它可以與AI的發展速度相適應。隨著未來的模型變得越來越智能和強大，作為助手，我們將找到更好的學習技術，在充分發揮AI的非凡好處的同時降低風險。
我們認為，美國、中國乃至世界各地的研究人員，在應對AI領域的技術挑戰上的合作，存在巨大潛力。試想，下人類可以利用AI來解決世界上最重要的問題，大幅改善生存條件和質量。
圖片來源：主辦方提供
張宏江對話薩姆·奧特曼
「這種機遇和威脅確實能夠讓世界走到一起」
張宏江：您提到了正在和歐盟、其他AI領域溝通全球治理，現在進展如何？我們距離AGI時代還有多遠，有沒有什麼可以證明距離這一天還很遙遠？假設我們發現了安全的人工智慧，是否意味著也找到了不安全的人工智慧？
薩姆·奧特曼：這很難預測，仍然需要不斷地研究才能提供結論，並且這條路不會一帆風順，但AGI可能很快就會發生，但在未來的10年內，我們可能會擁超強的AI系統。
在那種情況下，全球監管就非常的緊迫，而且歷史上也出現過很多新技術改變世界的相關的案例，現在這種改變速度正變得更快，考慮到這種緊迫性，我認為準備好迎接這一切並就安全問題作出正確回答非常重要。
張宏江：所以，您覺得這（正確回答安全相關的問題）是我們的優先事項？
薩姆·奧特曼：我想強調的是，我們並不確切知道（未來可能會如何），尤其是現在對人工智慧的定義存在差異，但我認為在10年內，我們應該為一個擁有超強AI系統的世界做好準備。
張宏江：您提到，OpenAI是一個致力於全球合作的機構，你們正在推動的全球合作有哪些，獲得了哪些回應，有什麼感受？
薩姆·奧特曼：我認為人們非常重視AGI的風險和機遇。在過去的6個月裡，相關討論已經發生了很大變化。人們似乎真心致力於找到一種機制，既能讓我們享受這些好處，又能在全球範圍內共同努力減輕風險，我認為我們在這方面做得不錯。
全球合作始終是困難的，但我認為這種機遇和威脅確實能夠讓世界走到一起，我們可以為這些系統制定一個框架和安全標準，這非常有幫助。
張宏江：在之前有沒有的成功的案例，您能舉個例子嗎？
薩姆·奧特曼：我們已經消除了一些全球合作的障礙。我們已經解決了技術上的困難，例如真實世界交易的問題。有很多例子可以說明我們已經有所突破。
「與之（AI）保持一致的價值觀並不是一個技術問題」
張宏江：您提到了先進AI系統的對齊問題，我也注意到在過去幾年中，許多AI系統都付出了很多努力來優化其對齊性能，我們可以在近些年裡完成對AI安全的研究嗎？
薩姆·奧特曼：我認為「對齊」這個詞在不同的方式中被使用。我認為我們需要解決整個挑戰，即能夠安全地訪問系統意味著什麼。從傳統意義上講，讓模型按照用戶意圖進行溝通的對齊是其中的一部分。還會有其他問題，例如我們如何驗證系統正在按照我們的意願行事，以及我們將系統與哪些價值觀對齊。我認為重要的是全面考慮如何獲得安全的AI。
我認為對齊工作還在不斷演變中。我們將納入市場上已有的工作模式。很多這些技術仍處於紙面之上，但是我們需要超越技術的其他因素。這是一個複雜的問題。AI安全是最新的技術。因此，技術方面的創新是我們需要考慮的因素之一。我們需要思考關鍵的AI安全問題。我們如何應對這些挑戰？就像我們大多數人都是科學家一樣去思考。我們為什麼要做這個？這是一個非常複雜的問題。我認為，為了確保我們解決了技術方面的安全問題，需要投入大量精力。
正如我之前提到的，確定我們要與之保持一致的價值觀並不是一個技術問題。我們確實需要技術的參與，但這更是一個值得全社會深入討論的問題。我們必須設計出公平的、有代表性和包容性的系統。正如您所指出的，我們不僅需要考慮AI模型本身的安全性，還需要考慮整個系統的安全性。因此，我們需要構建安全的分類器和檢測器，以監測符合用戶政策的情況。這一點很重要。
此外，我認為很難預測和預先解決任何技術可能出現的問題。因此，通過從實際使用中學習並快速部署數據，觀察在一個國家中會發生什麼，並給人們提供時間來學習、更新和思考這些模型將如何影響他們的生活，這也非常重要。
張宏江：中國、美國和歐洲是推動人工智慧和創新的三個主要力量。您認為國際合作解決人工智慧需求和決策方面的優勢有哪些？這些優勢如何結合起來產生影響？
薩姆·奧特曼：我認為在人工智慧安全性方面，普遍存在著需要許多不同觀點的情況。我們還沒有所有的答案，解決這個問題非常困難且重要。正如我提到的，這不僅僅是一個技術問題。使人工智慧變得安全這件事，受益於了解不同國家和不同背景下用戶的偏好。
因此，我們需要許多不同的觀念來實現這一目標。中國擁有世界上一些最優秀的AI系統，從根本上講，我認為這使研究人員在解決許多不同的AI系統的問題上，面臨困難。中國是世界上最好的地方，我真誠希望中國和美國的研究人員能對此做出巨大貢獻。
「我們可以期望開源的模型會更多」
張宏江：您能分享一些在這方面取得的成就嗎？在這項工作中，您的計劃或想法是什麼？
薩姆·奧特曼：我認為一個重要的進展是人們開始對如何安全開發先進AI系統的國際標準感到興奮了。我們希望在訓練廣泛模型並在其部署之前，思考應該進行什麼樣的測試。我們還就構建反映人們目標、價值觀和實踐的資料庫進行了新的討論，人們可以利用這些資料庫來使他們的系統與之對齊，並探討了開展共享AI安全性研究的形式問題。所以，這些可能是目前出現的三個最具體的事情。
張宏江：我在這裡有一個很棒的問題，來自觀眾——您是否打算重新開放GPT的原始碼，就像在3.0之前一樣？
薩姆·奧特曼：關於原始碼，我不太清楚，但可以確認一下。我們開源了一些模型，而其他模型則不開源，但隨著時間的推移，我認為我們可以期望開源的模型會更多，我沒有具體的模型或時間表，但這是我們正在努力的事情我不確定您是否聽說過，但是我主持了一個開源機構，我們在開放原始碼方面付出了很多努力，包括模型。
我將採用一種算法來開發模型，並引入新的Python模型和A-15模型。我們相信需要傾聽並理解聽眾的反饋。
開源模型的發展已經相當多了。我認為A-15模型也起著重要的作用，它為我們提供了額外的安全控制。您可以阻止某些用戶，可以阻止某些類型的微調。這是一個重要的回歸點。就目前模型的規模而言，我對此並不太擔心，但隨著模型變得越來越大，確保正確性可能會變得昂貴。我認為開源一切可能不是最優的路徑，儘管這確實是正確的路徑。我認為我們只需小心地朝著這些節點前進。
張宏江：是的，我認為開源模型確實有優勢。總結一下我所說的，無論是GPT-4還是開源的模型及簡化性AI，我們有沒有可能需要改變整個基礎設施或者模型的架構，使其像GPT-2一樣簡單？對此您有何想法？從能力和安全性的角度來看，我們可能確實需要一些非常不同的架構。
薩姆·奧特曼：我認為我們將在這個能力上取得一些良好的進展，但在當前的模型類型中他們展現的效果更好，這是一個原因。但是，如果在10年後出現另一個巨大的飛躍，我也不會感到驚訝。我不記得很多年間有什麼東西真正改變了的架構。
另外，作為一名研究人員，我相信在座的許多人都會有這種好奇心，就是關於大模型和大容量模型的人工智慧用戶體驗方面的下一步發展方向。我們是否會很快落後於增長曲線，或者下一個前沿是具有體現能力的模型，或者自主機器人是人工智慧所關注的下一個前沿？我也非常好奇接下來會發生什麼。我喜歡做這項工作的地方就是能夠處在研究的前沿，這是令人興奮和驚喜的，我們還沒有答案。因此，我們正在探索許多關於接下來可能出現什麼、可能的新領域的想法。
當然，並不是說我們現在就能在序列中找到新的抗衰老模型，而是不用過於擔心具體的時間點。我們在剛開始的時候就做過機器人方面的工作，並且我們對此非常興奮，也經歷了困難。我希望有一天我們能夠回到這個話題。
「無論是擁有少量模型還是大量模型，都不能讓我們更安全」
張宏江：您還提到您正在研究如何製作更安全的模型，特別是使用CT4數據，在CT6的神經元有這個數據。這個工作在這個方向上是否有效？您是否能夠在未來（用這種方法）推進人工智慧領域？
我們將繼續在這方面努力。所以，如果我認為我們會考慮到這一點，它是否具有可擴展性？因為我在向一群生物學科學家提問，他們專注於人類的學習。他們想借鑑這些思想並從中學習，以研究人類在工作中的表現。觀察人工神經元比觀察生物神經元更容易。
薩姆·奧特曼：我認為這對人工神經網絡是可行的。我認為使用更強大的模型或使用類似其他（生物）模型的模型的方法是可行的。但我不太確定如何將其應用於人腦。另外，我們正在討論人工智慧安全和API控制的話題。我們剛才在辯論，如果我們只有三個模型，那麼我們會更安全。這就像一個核計劃。您不希望（每個人）擁有核武器。因此，當我在控制模型數量時，如果控制不了接觸模型和數據的人數的話是不安全的。
那麼，我們是要控制模型的數量嗎？從人類的角度來看，無論是擁有少量模型還是大量模型，都不能讓我們更安全。更重要的是，我們是否有一種機制，確保任何柯林斯模型都需要經過足夠的安全測試。我們是否有一個框架，讓那些創建了完備柯林斯模型的人具備足夠的資源和責任心，確保他們創造的東西是安全可靠的？來自麻省理工學院的教授Max是萊布尼茲研究所的一位教師，他提到了一種方法，但他認為這個方法不夠具體。
從一個角度來看，我們可以研究如何控制隱私的泄露。如果您丟失了一封電子郵件，您仍然可以獲取一份副本。在這個過程中您無法證明它是怎麼獲取到的。如果那家公司可以借用您的資料，那這將產生重大影響。我認為有一些行業正在發展不同的許可框架，將新技術引入市場，我認為我們應該借鑑它們。但我認為從根本上說，我們有著很好的購買數據的歷史。
張宏江：最後一個問題，您對人工智慧社區的設想是什麼，以及在這個方向上可能具有很大推動力的因素是什麼？
薩姆·奧特曼：對我而言，沒有比安全性工作更令人興奮、活力四溢、充實且重要的事情了。我堅信，如果您個人對一項重要的倡議非常認可，您將會有無窮的力量去解決它。這對我們團隊來說確實如此。當我們剛開始的時侯，我覺得成功的概率會非常低。但如果我們能夠找出如何構建人工智慧，那它肯定會產生巨大變革。我們必須進行安全方面的工作對吧？這就是其中的一部分。但您不能阻止AI的發展。
每日經濟新聞