什麼是ChatGPT?作為一個有著卡耐基梅隆大學電子計算機博士學位的教育博主,我做了一些功課,給大家普及一下ChatGPT的技術起源和這款AI聊天機器人背後的核心技術。
首先,讓我們以一種易於理解的方式,去拆解一下GPT這三個。GPT的全是generative pre change transformer,中文翻譯是生成性預訓練變換模型。
那我們一個一個字母來看。GTP的第一個字母G,是generative的首字母翻譯過來的,就是生成性。所以我們稱ChatGPT是生存性人工智慧,也就是所謂的生成性AI。在此前的人工智慧機器學習,在很大程度上都是局限於觀察、分析和分類內容。一個經典的機器學習的案例,就是圖像識別。比如說,讓機器去識別一隻貓,那程序它會仔細的去搜索和分析大量的圖像,以尋找與貓相匹配的圖像。而以GPT為代表的生成性AI,是一項技術上的突破,它是可以去生成新內容,而不是僅限於分析現有的數據的一種AI。比如它可以根據我們的需要,去創建一個貓的圖像或者文本的描述。生成性AI模型,也可以用於去生成程序代碼、詩歌、文章和藝術品等等。
最新發布的ChatGPT,是專注於文本內容的生成。未來應該也會有圖像藝術等各種形式的生成性AI。儘管應用領域不同,但是它的技術核心是類似的,也就是生成性的人工智慧。
第二個字母是P,P是pretend首字母翻譯過來的,是預訓練。它表示這個模型,已經在某些有限的數據集上進行了訓練,就像我們在被要求回答某個問題之前,我們會事先去閱讀一些相關的書籍一樣。ChatGPT
的之所以能夠聽起來像人一樣回答我們的問題,是因為它已經接受過大量數據的訓練,而這些數據是由我們真實的人來編寫的,也就是我們人類發布在網際網路上的2022年以前的網際網路上的內容。
那麼怎麼去進行預訓練?它使用的是兩項技術,一個叫監督學習,一個叫通過人類反饋強化學習,這個聽起來比較專業,我舉個通俗的例子來幫助大家理解,請你想像一個場景,老師要教學生寫一篇文章,監督學習相當於老師在讓學生寫文章之前,先給學生成千上萬篇文章讓他們閱讀,這個目標是讓學生通過學習大量論文的語氣、詞彙和結構,來學習如何寫一篇論文,也就是預訓練裡面的監督學習,
但是那些文章會有好有壞,學生如果參考不好的範文,仍然有可能去寫出不符合老師要求的文章,所以這個時候就用到第二項技術,就是通過人類反饋強化學習。也就是說,老師還會經常給學生去布置一些論文的作業,然後根據學生交上來的作業去進行反饋,告訴學生哪些地方做得好,哪些地方需要改進。那麼在反饋的過程中,去進一步強化學生的寫作水平。所以在GPT發布之前,已經用類似的方法進行了大量的監督學習和通過人類反饋強化學習。所以我們在使用它的時候,這個模型它能非常準確快速的去生成連貫的、引人入勝的、聽起來像人類的一個響應。這就像是一個飽讀詩書、功力深厚的學者,被要求現場寫文章,他能夠一氣呵成去完成一樣。
GPT的第三個字母就是t,是transformer,如果你直接翻譯過來,就是轉換器或者是變形金剛,它真正的含義是一個非常底層的人工智慧機器學習的算法架構,它是一種深度神經網絡。最初這個架構是在2017年,由谷歌的一個人工智慧的團隊叫谷歌大腦研發發布的,它是使用一種叫注意力的機制,它允許模型在進行預測的時候,可以根據語言序列的任何位置,為輸入數據的不同部分,賦予不同的權重,並支持處理更大的數據集。現在所有的GPT模型,都是採用了這種架構,它們會有一個編碼器來處理輸入的序列,然後會有一個解碼器來生成輸出的序列。所以你可以問它一個問題,它會用對話的方式來提供給你答案,而不是像傳統的搜尋引擎那樣,扔給你一堆的信息,讓你自己去篩選。
這三個字母拼在一起就是GPT,GPT模型最初是在2018年由Open ai推出的。0438