Hello，這裡是行上行下
我是隔壁壹腦雲準時不拖更的裊裊~
隨著Alpha
Go落下最後一枚棋子，舉世矚目的人機圍棋大戰以4:1的比分落下帷幕，這也是人工智慧史上里程碑式的事件。從此，神經網絡與深度學習等技術不斷湧入大眾的視野之中，並對社會產生了極其深遠的影響。
之前向大家介紹了人工智慧和機器學習的發展歷程，今天我們分享神經網絡和深度學習這一段同樣跌宕起伏且波瀾壯闊的發展歷程。
閱讀連結：人工智慧、機器學習、神經網絡和深度學習的發展歷程(上）
一、前言
在介紹神經網絡和深度學習起源之前，首先介紹一下人類大腦是怎麼工作的。1981年的諾貝爾醫學獎，分發給了David Hubel、Torsten Wiesel和Poger Sperry。前兩位的主要貢獻是發現了人的視覺系統的信息處理是分級的。如下圖所示，從視網膜（Retina）出發，經過低級的V1區提取邊緣特徵，到V2區形成基本形狀或目標的局部，再到高層V4形成整個目標（如判定為一張人臉），以及到更高層的PFC（前額葉皮層）進行分類判斷等。從視覺處理機制可以看出高層的特徵是低層特徵的組合，從低層到高層的特徵表達越來越抽象和概念化。
這個發現激發了人們對於神經系統的進一步思考。大腦的工作過程是一個對接收信號不斷疊代、不斷抽象概念化的過程。例如，從原始信號攝入開始（瞳孔攝入像素），接著做初步處理（大腦皮層某些細胞發現邊緣和方向），然後抽象（大腦判定眼前物體的形狀，比如是橢圓形），然後進一步抽象（大腦進一步判定該物體是一張人臉），最後識別人臉。這個過程其實和我們的常識是相吻合的，因為複雜的圖形往往就是由一些基本結構組合而成的。同時還可以看出：大腦是一個深度架構，認知過程也是深度的。
而深度學習，恰恰就是通過組合低層特徵形成更加抽象的高層特徵（或屬性類別）。例如，在計算機視覺領域，深度學習算法從原始圖像去學習得到一個低層次表達，例如邊緣檢測器、小波濾波器等，然後在這些低層次表達的基礎上，通過線性或者非線性組合，來獲得一個高層次的表達。此外，不僅圖像存在這個規律，聲音也是類似的。
二、起源階段
1943年，心理學家麥卡洛克和數學邏輯學家皮茲發表論文《神經活動中內在思想的邏輯演算》，提出了MP模型。MP模型是模仿神經元的結構和工作原理，構成出的一個基於神經網絡的數學模型，本質上是一種「模擬人類大腦」的神經元模型。MP模型作為人工神經網絡的起源，開創了人工神經網絡的新時代，也奠定了神經網絡模型的基礎。當時提出MP模型是希望能夠用計算機來模擬人的神經元反應的過程，該模型將神經元的工作過程簡化為了三部分：輸入信號線性加權，求和，非線性激活（閾值法）。如下圖所示：
1945年馮·諾依曼領導的設計小組試製成功存儲程序式電子計算機，標誌著電子計算機時代的開始。1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區別，提出了以簡單神經元構成的再生自動機網絡結構。但是，指令存儲式計算機技術的發展非常迅速，迫使他放棄了神經網絡研究的新途徑，繼續投身於指令存儲式計算機技術的研究，並在此領域作出了巨大貢獻。雖然，馮·諾依曼的名字是與普通計算機聯繫在一起的，但他也是人工神經網絡研究的先驅之一。
1949年，加拿大著名心理學家唐納德·赫布在論文《The organization of behavior》中提出了神經心理學理論。赫布認為神經網絡的學習過程最終是發生在神經元之間的突出部位，突觸的連接強度隨著突觸前後神經元的活動而變化，變化的量與兩個神經元的活性之和成正比。然後在《行為的組織》中提出了一種基礎無監督學習的規則—赫布學習規則（Hebb Rule）。赫布規則模仿人類認知世界的過程建立一種「網絡模型」，該網絡模型針對訓練集進行大量的訓練並提取訓練集的統計特徵，然後按照樣本的相似程度進行分類，把相互之間聯繫密切的樣本分為一類，這樣就把樣本分成了若干類。赫布規則與「條件反射」機理一致，為以後的神經網絡學習算法奠定了基礎，具有重大的歷史意義。
20世紀50年代末，在MP模型和赫布學習規則的研究基礎上，美國科學家羅森布拉特發現了一種類似於人類學習過程的算法—感知機學習。並於1958年，正式提出了由兩層神經元組成的神經網絡，稱之為感知器（Perceptron）。感知器本質上是一種線性模型，可以對輸入的訓練集數據進行二分類，且能夠在訓練集中自動更新權值。感知器的提出引起了大量科學家對人工神經網絡研究的興趣，對神經網絡的發展具有里程碑式的意義。
在1969年，馬文·明斯基和西蒙·派珀特共同編寫了一本書籍《感知器》，在書中他們證明了單層感知器無法解決線性不可分問題（例如：異或問題）。由於這個致命的缺陷以及沒有及時推廣感知器到多層神經網絡中，在20世紀70年代，人工神經網絡進入了第一個寒冬期，人們對神經網絡的研究也停滯了將近20年。
三、發展階段
真理的果實總是垂青於能夠堅持研究的科學家。儘管人工神經網絡ANN的研究陷入了前所未有的低谷，但仍有為數不多的學者致力於ANN的研究。
1982年，著名物理學家約翰·霍普菲爾德發明了Hopfield神經網絡。Hopfield神經網絡是一種結合存儲系統和二元系統的循環神經網絡。Hopfield網絡也可以模擬人類的記憶，根據激活函數的選取不同，有連續型和離散型兩種，分別用於優化計算和聯想記憶。但由於容易陷入局部最小值的缺陷，該算法並未在當時引起很大的轟動。
1984年，辛頓與年輕學者謝諾夫斯基等合作提出了大規模並行網絡學習機，並明確提出隱藏單元的概念，這種學習機後來被稱為玻爾茲曼機（Boltzmann machine）。他們利用統計物理學的概念和方法，首次提出的多層網絡的學習算法，稱為玻爾茲曼機模型。
由神經網絡之父傑弗里·辛頓在1986年發明了適用於多層感知器（MLP）的BP算法（BackPropagation），並採用了Sigmoid函數進行非線性映射，有效解決了非線性分類和學習的問題。BP算法引起了神經網絡的第二次熱潮，其在傳統神經網絡正向傳播的基礎上，增加了誤差的反向傳播過程。反向傳播過程不斷地調整神經元之間的權值和閾值，直到輸出的誤差達到減小到允許的範圍之內，或達到預先設定的訓練次數為止。BP算法完美的解決了非線性分類問題，讓人工神經網絡再次引起了人們廣泛的關注。
1991年BP算法被指出存在梯度消失問題，也就是說在誤差梯度後向傳遞的過程中，後層梯度以乘性方式疊加到前層，由於Sigmoid函數的飽和特性，後層梯度本來就小，誤差梯度傳到前層時幾乎為0，因此無法對前層進行有效的學習，該問題直接阻礙了深度學習的進一步發展。
此外90年代中期，支持向量機算法誕生（SVM算法）等各種淺層機器學習模型被提出，SVM也是一種有監督的學習模型，應用於模式識別，分類以及回歸分析等。支持向量機以統計學為基礎，和神經網絡有明顯的差異，支持向量機等算法的提出再次阻礙了深度學習的發展。
四、崛起階段
2006年，傑弗里·辛頓以及他的學生魯斯蘭·薩拉赫丁諾夫正式提出了深度學習的概念。他們在世界頂級學術期刊《Science》發表的一篇文章中詳細的給出了「梯度消失」問題的解決方案——通過無監督的學習方法逐層訓練算法，再使用有監督的反向傳播算法進行調優。該深度學習方法的提出，立即在學術圈引起了巨大的反響，史丹福大學、紐約大學、加拿大蒙特婁大學等成為研究深度學習的重鎮，至此開啟了深度學習在學術界和工業界的浪潮。
2011年，ReLU激活函數被提出，該激活函數能夠有效的抑制梯度消失問題。2011年以來，微軟首次將DL應用在語音識別上，取得了重大突破。微軟研究院和Google的語音識別研究人員先後採用深度神經網絡DNN技術降低語音識別錯誤率至20％~30％，是語音識別領域十多年來最大的突破性進展。
2012年，DNN技術在圖像識別領域取得驚人的效果，在ImageNet評測上將錯誤率從26％降低到15％。在這一年，DNN還被應用於製藥公司的DrugeActivity預測問題，並獲得世界最好成績。2012年，在著名的ImageNet圖像識別大賽中，傑弗里·辛頓課題組為了證明深度學習的潛力，首次參加ImageNet圖像識別比賽，其通過構建的CNN網絡AlexNet一舉奪得冠軍，且碾壓第二名（SVM方法）的分類性能。也正是由於該比賽，CNN吸引到了眾多研究者的注意。深度學習算法在世界大賽的脫穎而出，也再一次吸引了學術界和工業界對於深度學習領域的注意。
隨著深度學習技術的不斷進步以及數據處理能力的不斷提升，2014年，Facebook基於深度學習技術的DeepFace項目，在人臉識別方面的準確率已經能達到97%以上，跟人類識別的準確率幾乎沒有差別。這樣的結果也再一次證明了深度學習算法在圖像識別方面的一騎絕塵。
2016年3月，由谷歌（Google）旗下DeepMind公司開發的AlphaGo(基於深度學習算法)與圍棋世界冠軍、職業九段棋手李世石進行圍棋人機大戰，以4比1的總比分獲勝；2016年末2017年初，該程序在中國棋類網站上以「大師」（Master）為註冊帳號與中日韓數十位圍棋高手進行快棋對決，連續60局無一敗績。
2017年，基於強化學習算法的AlphaGo升級版AlphaGo Zero橫空出世。其採用「從零開始」、「無師自通」的學習模式，以100:0的比分輕而易舉打敗了之前的AlphaGo。除了圍棋，它還精通西洋棋等其它棋類遊戲，可以說是真正的棋類「天才」。此外在這一年，深度學習的相關算法在醫療、金融、藝術、無人駕駛等多個領域均取得了顯著的成果。所以，也有專家把2017年看作是深度學習甚至是人工智慧發展最為突飛猛進的一年。
五、神經網絡和深度學習發展史上的里程碑
本期內容分享到這裡，感謝大家的觀看，歡迎大家在留言區互相交流，喜歡的話記得三連哦，期待下一期更精彩的內容~
參考資料：
1、百度百科，神經網絡（通信定義）
閱讀連結：
https://baike.baidu.com/item/神經網絡/16600562
2、百度百科，深度學習（人工神經網絡的研究的概念）
閱讀連結：
https://baike.baidu.com/item/深度學習/3729729
3、博客園，《深度學習的起源、發展和現狀》
閱讀連結：https://www.cnblogs.com/jhding/p/5687549.html
4、博客園，《人工智慧、機器學習及深度學習的起源和發展》
閱讀連結：https://www.cnblogs.com/quxiangjia/p/12239351.html
5、程式設計師客棧，《深度學習的起源、發展和挑戰總結》
閱讀連結：https://jishuin.proginn.com/p/763bfbd601ed
6、CSDN，《人工神經網絡簡介》
閱讀連結：https://blog.csdn.net/fengbingchun/article/details/50274471
7、騰訊雲，《淺談神經網絡發展史：從莫克羅-彼特氏神經模型到深層神經網絡》
閱讀連結：https://cloud.tencent.com/developer/article/1010049
8、搜狐，《CMU論文：一部深度學習發展史，看神經網絡興衰更替》
閱讀連結：https://www.sohu.com/a/127786076_473283
9、知乎，《深度學習（deep learning）的發展史》
閱讀連結：https://zhuanlan.zhihu.com/p/29096536
10、知乎，《深度學習發展史》
閱讀連結：https://zhuanlan.zhihu.com/p/34472753
11、知乎，《神經網絡發展歷史》
閱讀連結：https://zhuanlan.zhihu.com/p/379350530
12、簡書，《深度學習-概述-深度學習的發展歷程》
閱讀連結：https://www.jianshu.com/p/2a5936c2a6dd
作者：裊裊
校對：喵君姐姐、Ting Zhang
圖片來源：百度