吳飛：浙江大學求是特聘教授，博士生導師。主要研究領域為人工智慧、多媒體分析與檢索和統計學習理論。吳老師是浙江大學人工智慧研究所所長、美國加州大學伯克利分校統計系訪問學者。國家傑出青年科學基金獲得者、入選「高校計算機專業優秀教師獎勵計劃」、寶鋼優秀教師獎，曾任教育部人工智慧科技創新專家組工作組組長、現任科技部科技創新2030「新一代人工智慧」重大科技項目指南編制專家、《中國人工智慧2.0發展戰略研究》執筆人之一。
吳教授著有《人工智慧導論：模型與算法》（高等教育出版社）和浙教版普通高中教科書信息技術選擇性必修教材《人工智慧初步》（浙江教育出版社）等教材。
在中國大學MOOC（愛課程）開設國家級一流本科課程（線上課程）《人工智慧：模型與算法》慕課個人主頁：
https://www.xmol.com/university/faculty/243543
「我判斷ChatGPT會成為人工智慧時代一種新的信息系統入口。當前我們還在通過windows或者iPhone這樣的作業系統來訪問信息世界，也許今後我們就只能需要通過ChatGPT來訪問信息世界，所以它起到了入口的作用。」浙江大學計算機科學與技術學院吳飛教授，在3月5日的「AIGC+元宇宙」沙龍中說道。
在本次沙龍中，吳飛教授對人工智慧的發展歷程和技術路線做了詳細介紹，並對以ChatGPT為代表的人工智慧對人類生活的意義進行了預測分析，以下是演講摘要：
01
人工智慧崛起：兩落三起
第三次人工智慧崛起的主要特點是數據驅動的機器學習，及人工智慧技術的魅力煥發。今天人工智慧崛起主要來自於外部驅動力，包括信息環境巨變、社會新需求爆發、AI技術和目標巨變等。目前「人工智慧浪潮」火熱的一個根本原因，就是由於深度學習的興起。
02
從神經元到深度神經網絡
深度神經網絡的基本單元是神經元。1943年，兩位名叫沃倫和皮茲的學者，用數學方程表達了一個神經元工作的機理，即某一個神經元把它前向連接的所有神經元的能量通過加權累加、非線性變換，把該神經元的能量向後續神經元輸出。
1955年，人工智慧研討會表明過，所有的活動必須清晰描述才能為機器所模擬。當我們得知人類神經元的工作機理，會發現把能量進行加權累加，可用程式語言實現，非線性變換也可用非線性映射函數來表達，因此神經網絡得以通過模擬人類大腦以期能夠實現類人工智慧。
如果一個神經元是這麼工作的，把所有的神經元前後連接起來，是不是就能形成一個深度神經網絡？這就是深度學習的基本架構。對於深度學習，只要給出了海量的數據，不斷去刺激每個神經元，記住向它輸送能量的神經元之間的強弱連接，就可以輸出相應結果。
比如，我們用10萬張狗的圖像不斷去刺激所設立的神經網絡，最終它輸出了狗的文本語義。從狗的圖像到狗的文本語義，這是一個「大變活人」的工作。也就是說要把它從像素點空間映射到文本語義空間，可以想像這個「大變活人」的非線性映射函數是多麼複雜厲害。
剛才我們說一個神經元是執行了一次非線性映射操作，而當成千上萬個神經元連接起來，這種非線性映射的能力就非常可怕了，它可以把一個圖像映射為一個狗，並且輸出狗的概率最大。可以說，深度神經網絡在大數據的驅動之下，以洪荒之力「大變活人」，把像素點空間的數據映射為狗的文本語義，實現了深度學習概率輸出、識人辨物的工作。
至於AlphaGo，通過蒙特卡羅樹搜索和深度卷積神經網絡等技術，進行強化學習的監督學習進行了自我訓練，使自己越來越強大。AlphaGo的橫空出世，其意義不只是表明在圍棋領域，人工智慧已經全面碾壓人類棋手，更是使曾經淡出大眾視野的人工智慧再次火熱，並迅速擴散到學術界和產業界，由此開啟了一場可以稱之為「智能革命」的新技術革命的序幕。
在這股浪潮下，浙江大學潘雲鶴院士承擔了中國工程院《中國人工智慧2.0發展戰略研究》的重大諮詢項目。2017年7月20日，國務院向社會發布國家《新一代人工智慧發展規劃》。回顧歷史，AlphaGo和ChatGPT都是現象級產品。AlphaGo推動了國家發布新一代人工智慧發展規劃，相信ChatGPT也會推動人工智慧向更深入、更賦能、更人性化的方向發展
03
「人工智慧的施予者」
ChatGPT的核心「武器」是transformer，即它要去學習任意單詞和其他單詞在同一個序列之間共同出現的概率。一旦transformer學習出海量的單詞與單詞之間，因為何種原因共同出現的概率，就可以進行內容合成。於是你給出一個單詞，就可以通過查找巨大的關聯概率圖，然後去生成後一個單詞。transformer一詞沒有中文翻譯，美國有部電影《變形金剛》，名字就叫transformer。所以大家可以把它理解成「大變活人」的非線性映射機器。
至於如何訓練ChatGPT呢，是通過自監督學習。當我們給出一個句子，把句子裡面的某一個單詞去掉，讓這一個模型自己來完成完形填空，從而把它的模型參數優化出來，掌握單詞和單詞在句中出現的上下文關係，依據這種關聯進行填空。
同時我們還要教會ChatGPT說人話，也就是生成以知識模板為特點的提示學習，簡單理解就是我們教機器很多語句。比如說「我很喜歡這部電影，因為電影呈現的劇情很精彩」這句話，我把「很精彩」去掉，然後讓ChatGPT去預測「很精彩」這個詞。當我們構造這種說人話、說套話的句子，就可以讓ChatGPT不僅能產生單詞，還能學習由單詞所組成的句子與句子之間的自然度和順暢度。
這項工作被稱為提示樣例工程師。現在網際網路上已經有這項新工作的工種了，他們把這個崗位稱為「人工智慧的施予者」，年薪很高，大約在25萬-35 萬美元。因為只有懂AI的人才能當「AI的施予者」，能生成知識模板，所以它不是一個普通的工作，而是一個具有一定智慧能力的工作。然後再輔以人類反饋的強化學習，讓人的反饋來教機器進一步提升性能。
因此在這樣的技術構造過程中，數據是燃料，模型是引擎，創意是加速器，ChatGPT按照「共生則關聯」實現了統計關聯關係挖掘。當它學會了把任意一個單詞和其他單詞之間能夠產生關聯關係的隱性的統計概率，就能夠生成語言。
04
計算獨大，機理式微
我們知道ChatGPT的前身叫GPT-3，它總共有1750億個參數。那麼這1750億個的參數分布在什麼位置？
這裡我給了一個例子，比如現在輸入「項莊舞劍意在——」，去掉了這一個單詞，我讓它預測「意在沛公」。
這1750億個單詞是這樣構成的：首先GPT-3把它學習得到的5萬多個單詞均表達成了12288維的詞向量。這個詞向量是非常龐大的，它使得每個單詞的表達能力更加具有表現力。
比如說，我來自浙江大學，「浙江大學」這個單詞就會和「求職精神」關聯，會和「985」「 211」關聯，會和「杭州」關聯，會和「竺可楨」關聯。「浙江大學」這個單詞被表達了12288維，每一個維度都把「浙江大學」這個單詞和它應該在大數據語料庫裡面應該關聯的其他單詞關聯起來。上述例子是第一類模型參數，它占1%。
第二類的模型參數是注意力參數。GPT-3設置了96種注意力機制，去捕獲單詞和單詞在語料庫裡面的關聯關係，它占了30%。
最多的模型參數是前向反饋、前向傳遞參數。大家可以把它理解為深度學習，它屬於步步為營，層層遞進，逐層抽象，而不是像豬八戒吃人參果一樣一口都就吞下去了，所以它是一步一步往前進行學習，這種學習的參數叫前項傳遞參數。
以上這三類參數，使得 GPT-3學習了單詞和單詞如何進行關聯，我把它稱為計算獨大、機理式微。
05
《more is different》
我們也不可否認ChatGPT體現了湧現能力。所謂的湧現就是在小規模的模型中，這種能力未能發現，在大規模的模型之中能力突然迸發的現象。上圖體現了它在百億級參數下，能力突然迸發的現象。但是研究也表明，我們尚無法判斷它在哪些任務中具有湧現能力，並且我們還發現，它的邏輯推理和因果推斷的表現能力最低，這說明ChatGPT未能掌握知其然且知其所以然的因果關係。
諾貝爾物理學獎得主安德森曾經於1972年在科學雜誌發表了一篇題為《more is different》的論文，指出「多者異也」在小規模範圍未曾體現，若將小規模進行累加形成大規模，就會具有湧現能力。安德森同時指出，還原論假說從來都不意味著建構論假說。「湧現」的特質與適應性、加成性的「結果」是有區別的，所以我們至今仍無法理解為什麼ChatGPT具有湧現能力。
另外，我判斷ChatGPT會成為人工智慧時代一種新的信息系統入口。當前我們還在通過windows或者iPhone這樣的作業系統來訪問信息世界，也許今後我們就只能需要通過ChatGPT來訪問信息世界，所以它起到了入口的作用。
此外，由於ChatGPT學習到了單詞與單詞之間的關聯統計關係，所以它還是一種概率知識圖譜，以後會成為一種新的知識調用工具。
本篇文章由吳飛教授在3月5日「AIGC+元宇宙」主題沙龍上的演講整理而成。「AIGC+元宇宙」主題沙龍是由清華大學新聞與傳播學院元宇宙文化實驗室主辦，中文在線數字出版集團股份有限公司、南京江寧高新區管委會、教育領域融合出版知識挖掘與服務重點實驗室（清華大學出版社）協辦的主題沙龍。
關注「清元宇宙」公眾號，持續獲取後續主題演講內容~
ChatGPT 問答
問
ChatGPT會成為日後新的信息訪問入口麼?
答
作為一種自然語言處理技術的代表,ChatGPT已經在許多領域中展現出了強大的應用潛力。
ChatGPT可以通過與人類進行自然語言交互的方式,為用戶提供高效、智能的信息獲取服務。因此, ChatGPT有望成為未來新的信息訪問入口之一。
未來,ChatGPT可以通過智能語音助手、智能客服等多種形式與用戶進行交互。提供高質量的問答服務、語言翻譯、信息檢索等功能。此外, ChatGPT可以與其他技術結合,例如圖像識別、推薦系統等,為用戶提供更加個性化、定製化的服務。同時,隨著技術的不斷發展,ChatGPT還可以通過不斷學習和訓練,提高自身的能力,從而進一步提高服務質量和用戶滿意程度。
然而,目前的ChatGPT技術還存在許多局限性,例如對於一些複雜的問題，需要更深入的領域專業知識才能夠準確回答,此外，ChatGPT技術也存在著一些隱私和安全方面的問題,需要注意保護用戶的隱私和安全,因此，ChatGPT還需要不斷地完善和發展，才能成為未來新的信息訪問入口之一。
排版：駱偉玲
圖片源於Q仔網際網路衝浪所得，若有侵權，後台聯繫，Q仔滑跪刪除~