什麼是ChatGPT？作為一個有著卡耐基梅隆大學電子計算機博士學位的教育博主，我做了一些功課，給大家普及一下ChatGPT的技術起源和這款AI聊天機器人背後的核心技術。
首先，讓我們以一種易於理解的方式，去拆解一下GPT這三個。GPT的全是generative pre change transformer，中文翻譯是生成性預訓練變換模型。
那我們一個一個字母來看。GTP的第一個字母G，是generative的首字母翻譯過來的，就是生成性。所以我們稱ChatGPT是生存性人工智慧，也就是所謂的生成性AI。在此前的人工智慧機器學習，在很大程度上都是局限於觀察、分析和分類內容。一個經典的機器學習的案例，就是圖像識別。比如說，讓機器去識別一隻貓，那程序它會仔細的去搜索和分析大量的圖像，以尋找與貓相匹配的圖像。而以GPT為代表的生成性AI，是一項技術上的突破，它是可以去生成新內容，而不是僅限於分析現有的數據的一種AI。比如它可以根據我們的需要，去創建一個貓的圖像或者文本的描述。生成性AI模型，也可以用於去生成程序代碼、詩歌、文章和藝術品等等。
最新發布的ChatGPT，是專注於文本內容的生成。未來應該也會有圖像藝術等各種形式的生成性AI。儘管應用領域不同，但是它的技術核心是類似的，也就是生成性的人工智慧。
第二個字母是P，P是pretend首字母翻譯過來的，是預訓練。它表示這個模型，已經在某些有限的數據集上進行了訓練，就像我們在被要求回答某個問題之前，我們會事先去閱讀一些相關的書籍一樣。ChatGPT
的之所以能夠聽起來像人一樣回答我們的問題，是因為它已經接受過大量數據的訓練，而這些數據是由我們真實的人來編寫的，也就是我們人類發布在網際網路上的2022年以前的網際網路上的內容。
那麼怎麼去進行預訓練？它使用的是兩項技術，一個叫監督學習，一個叫通過人類反饋強化學習，這個聽起來比較專業，我舉個通俗的例子來幫助大家理解，請你想像一個場景，老師要教學生寫一篇文章，監督學習相當於老師在讓學生寫文章之前，先給學生成千上萬篇文章讓他們閱讀，這個目標是讓學生通過學習大量論文的語氣、詞彙和結構，來學習如何寫一篇論文，也就是預訓練裡面的監督學習，
但是那些文章會有好有壞，學生如果參考不好的範文，仍然有可能去寫出不符合老師要求的文章，所以這個時候就用到第二項技術，就是通過人類反饋強化學習。也就是說，老師還會經常給學生去布置一些論文的作業，然後根據學生交上來的作業去進行反饋，告訴學生哪些地方做得好，哪些地方需要改進。那麼在反饋的過程中，去進一步強化學生的寫作水平。所以在GPT發布之前，已經用類似的方法進行了大量的監督學習和通過人類反饋強化學習。所以我們在使用它的時候，這個模型它能非常準確快速的去生成連貫的、引人入勝的、聽起來像人類的一個響應。這就像是一個飽讀詩書、功力深厚的學者，被要求現場寫文章，他能夠一氣呵成去完成一樣。
GPT的第三個字母就是t，是transformer，如果你直接翻譯過來，就是轉換器或者是變形金剛，它真正的含義是一個非常底層的人工智慧機器學習的算法架構，它是一種深度神經網絡。最初這個架構是在2017年，由谷歌的一個人工智慧的團隊叫谷歌大腦研發發布的，它是使用一種叫注意力的機制，它允許模型在進行預測的時候，可以根據語言序列的任何位置，為輸入數據的不同部分，賦予不同的權重，並支持處理更大的數據集。現在所有的GPT模型，都是採用了這種架構，它們會有一個編碼器來處理輸入的序列，然後會有一個解碼器來生成輸出的序列。所以你可以問它一個問題，它會用對話的方式來提供給你答案，而不是像傳統的搜尋引擎那樣，扔給你一堆的信息，讓你自己去篩選。
這三個字母拼在一起就是GPT，GPT模型最初是在2018年由Open ai推出的。0438