近些日子狀況百出的AI頂流ChatGPT引發了背後公司OpenAI創始人的一些反思。
上周，OpenAI執行長Sam Altman在公司官網公布了對通用人工智慧（AGI）當下和後續規劃。AGI專注於研究像人一樣思考並從事多種用途的機器。
在文章中，Altman承認AGI技術能夠幫助人類的創造性實現質的飛躍，但他更擔心，AGI的能力強大得超乎想像，應用不當可能對社會造成災難性的後果。
因此，Altman認為必須更加謹慎創建和部署AGI模型，有意放慢其發展速度，幫助世界以更平穩、更漸進的方式向AGI時代過渡，比如，通過部署低版本的AGI來適應更加複雜的環境，或者對產品的應用進行限制等等。
AGI應用的三個原則
Altman在文中列出了OpenAI最關心的AGI應用的三個原則：
1. 我們希望AGI能讓人類在宇宙中最大限度地繁榮發展。不期望未來的世界是個不合格的烏托邦社會，但希望最大化好處，最小化壞處，讓AGI成為人類的放大器。
2. 我們希望廣泛和公平地分享AGI的好處、獲取和治理。
3. 我們希望成功應對巨大風險。在面對這些風險時，理論上看似正確的事情在實踐中往往表現得比預期的更奇怪。我們認為必須通過部署功能較弱的技術版本來不斷學習和適應，儘量減少「一次性成功」的情況。
越接近AGI，越謹慎
短期來看，Altman認為OpenAI應為AGI時代的到來做好準備，他建議，更加謹慎的創建和部署模型，對AGI應用範圍進行限制，並對某些重大問題展開全球對話。
Altman寫道：
首先，隨著我們不斷建立功能更強大的系統，我們希望部署它們並獲得在現實世界中操作它們的經驗。我們相信，這是謹慎管理AGI的最佳方式——逐步過渡到一個有AGI的世界要比突然過渡好。我們期望強大的AI能使世界更快進步，我們認為最好是逐步適應這一點。
我們目前認為，成功應對AI部署挑戰的最佳方法是建立一個快速學習和謹慎疊代的緊密反饋循環。社會將面臨AI系統被允許做什麼，如何消除偏見，如何處理工作崗位流失等等的重大問題。最佳決策將取決於技術的發展路徑，就像任何新領域一樣，迄今為止大多數專家的預測都是錯誤的。這使得脫離實際進行規劃非常困難。
隨著我們的系統越來越接近AGI，我們對模型的創建和部署越來越謹慎。我們的決定需要比社會通常對新技術的應用更加謹慎，也比許多用戶所希望的更加謹慎。
其次，我們正在努力建立日益具有一致性和可控性的模型。我們從GPT-3的第一個版本到DirectGPT和ChatGPT的轉變就是一個早期的例子。
特別是，我們認為社會在AI的應用方面達成一致是非常重要的，但在這些範圍內，個人用戶有很大的自由裁量權。我們最終希望，世界各機構就這些寬泛的界限定義達成一致; 在較短期內，我們計劃對外部投入進行試驗。世界各機構需要增加能力和經驗，為關於AGI的複雜決定做好準備。
我們產品的「默認設置」可能會受到很大限制，但我們計劃讓用戶更容易改變他們使用的AI的行為。我們相信賦予個人自主決策的權力以及思想多樣性的內在力量。
隨著我們的模型變得更加強大，我們將需要開發新的對齊（alignment）技術(並且在現有技術失敗時候進行理解測試)。我們的短期計劃是使用AI來幫助人類評估更複雜模型的輸出和監控複雜系統，長期計劃是使用AI來幫助我們提出更好的對齊技術的新想法。
重要的是，我們認為必須在AI的安全性和能力方面均取得進展。把兩者分開討論是錯誤的，它們在許多方面是相互關聯的。最安全的系統來自能力最強的模型。也就是說，提高安全進步與能力進步的比率很重要。
第三，我們希望就三個關鍵問題展開全球對話: 如何治理這些系統？如何公平分配它們產生的好處？以及如何公平共享訪問？
除了這三個領域之外，我們還試圖建立一種結構，使我們的激勵措施產生良好的結果。我們的章程中有一個條款，即協助其他組織提高安全性，而不是在AGI開發的後期階段與他們競爭。
我們對股東獲得的回報設置了一個上限，這樣公司就沒有動力去自由地榨取價值並冒險部署一些具有潛在災難危險性的東西(當然也是作為一種與社會分享利益的方式)。
我們認為發布新系統之前進行獨立審計諸如此類的做法很重要，我們將在今年晚些時候討論更多細節。
關鍵時刻減速可能很重要
展望更遠的未來，Altman認為，為了防止AGI對世界造成災難性的打擊，必須對AGI模型的建立進行更嚴格的審查，遇到重大決策時應該進行公共諮詢。
我們相信，人類的未來應該由人類決定，與公眾分享進步的信息很重要。應該對所有試圖建立AGI的行為進行嚴格審查，並就重大決定進行公共諮詢。
第一個AGI將只是智力連續體上的一個點。我們認為，從那裡開始進步還將繼續，速度可能會在很長一段時間內以我們過去十年中看到的那樣保持。如果這是真的，世界可能會變得與今天截然不同，風險也可能會非同尋常。如果一個超級智能的AGI發生錯位，可能會對世界造成嚴重傷害，一個擁有決定性超級智能領導的專制政權也具有同樣的殺傷力。
我們認為較慢的起飛速度更容易保證安全，AGI在關鍵時刻減速可能很重要(即使在一個我們不需要這樣做來解決技術調整問題的世界裡，減速對於給社會足夠的時間來適應可能也很重要)。
成功地過渡到一個擁有超級智能的世界，或許是人類歷史上最重要、最充滿希望、最可怕的項目。成功遠非板上釘釘，利害關係(無限的風險和無限的好處)將有望把我們所有人團結起來。
本文來自華爾街見聞，歡迎下載APP查看更多