2009年穀歌(Waymo)自動駕駛事業正式開始，但實際上谷歌的自動駕駛可以追溯到2005年第二屆DARPA無人駕駛挑戰賽，已有了十幾年的歷史，目前也是自動駕駛領域的標杆企業，不過Waymo也經歷了各種坎坷，包括早期領導人職業操守嚴重不足，跟車企合作被鄙視，骨幹員工加入競爭對手等。

Waymo在超過25個城市的公共道路上行駛了超過2000萬英里。另外還在模擬環境中行駛了數百億英里。此外，Waymo正在美國經營L4自動駕駛計程車服務，真正的在沒有司機的情況下運送乘客。

下面來梳理一下Waymo的技術，以此來窺探一下頭部企業背後的實際情況。

與其他公司的自動駕駛系統一樣，Waymo自動駕駛技術主要包括：感知、定位、規劃、控制。下面分別對其進行梳理，不過對於控制，由於其與車輛動力學模型是強相關的，就不對其進行介紹。

01.感知

感知模塊是自動駕駛的基礎也是核心，其主要實現對障礙物距離的估計，以及車輛的定位。Waymo的感知系統使用了攝像頭、雷射雷達和雷達的組合，如圖1所示。感知模塊的大部分工作是由4個LiDAR完成的，因此其技術路線剛好與特斯拉相反。圖2為Waymo的感知系統處理後的視圖與原圖像。

圖1 Waymo的感知系統

圖2 Waymo感知視圖

從圖2中可以看出，Waymo的感知系統獲取障礙物信息的能力非常高，包括：

1、可以識別常規汽車、警車、救護車、消防車和校車。如果遇到特種車輛，系統可以根據警報器和燈光做出判斷；

2、每個檢測到的障礙物都有一個狀態：移動、停車等。

在Waymo開發感知系統的過程中，遇到過不少棘手的問題，比如在車輛反射問題，如圖3所示，不過由於感知系統採用了雷射雷達，這種發射問題不會出現在雷射雷達的點雲中。

圖3 玻璃反射

另外還有一個極端問題：如果人們可能躺在卡車車頂，舉著STOP標誌。對於這樣的問題，感知系統首先會檢測STOP標誌，然後將這些信息與地圖進行匹配，檢測地圖上此處是否有STOP標誌，是否有道路工程等，如果沒有，該標誌會被忽略。

02.架構

最近在討論Tesla計算機視覺架構時，我探索了HydraNet 架構。它是一種旨在同時運行多個神經網絡的架構。「Hydra」這個詞意味著一個有多個頭的系統。Waymo沒有HydraNets。

Waymo的架構並不是固定的。

圖4展示了一個神經網絡架構搜索(NAS)單元，它是神經網絡的構建塊，類似於ResNet的大型神經網絡中的構建塊。這個想法已經被採納並改編成一種叫做 AutoML 的東西。AutoML 的思想是神經網絡架構必須由算法估計，如圖5所示。

圖4 NAS單元

圖5 AutoML架構

這些架構是使用NAS單元構建的，最佳組合獲勝。測試樣本為10000個架構，預選100個模型，然後選出1個最終獲勝者，獲勝的標準是準確性和推理成本。

03.數據集和模型

關於數據集和模型，Waymo使用的是一種稱為主動學習的過程。主動學習的思想如下：

1、對於未標記的數據，將其發送給模型進行預測。

2、如果模型對其預測非常確定，其將獲得一個自動標籤。

3、如果不確定，則將數據發送給人工標註員。這樣，人工標註員只標註疑難數據，其餘的都是自動標註。

Waymo使用主動學習來訓練模型，利用TPU（Tensor Processing Units）和谷歌的深度學習框架TensorFlow。與特斯拉類似，這是一個閉環，循環疊代。

圖6 Waymo主動學習步驟

圖6中的描述已經比較清晰；從底部的Releases開始，然後沿著箭頭一步一步執行。

1、當模型發布完成，開售數據收集。

2、一些數據被選中並由神經網絡或人工標註員進行標註。

3、將標註的數據集發送到AutoML架構搜索，評估最佳模型。

4、最佳模型經過驗證、測試並發Releases新版本。

04.定位

定位很顯然就是獲取車輛的實時位置，要求精度在1~3cm。一些公司使用了GPS，或是添加了攝像頭和雷射雷達信息。Waymo使用了地圖、雷射雷達和GPS來定位車輛，這方面採用了從Google地圖積累的經驗。

多年來，Google地圖團隊一直致力於使用雷射雷達、攝像頭和GPS進行高精地圖繪製。這些傳感器正好也是用於自動駕駛相吻合。

谷歌幾乎已經繪製了整個世界的地圖。如果從相對位置檢測到您看到了2號街道，就可以準確地知道您在哪裡。這就是他們過去二十年一直在努力的事情。

Waymo的定位模塊由地圖、攝像頭、GPS和算法組成，可在全世界範圍內準確定位車輛。另外Waymo還進行了大量冗餘設計，使其更加健壯、可靠。

05.預測

行為預測

Waymo自動駕駛汽車最重要的特點是行為預測。在自動駕駛汽車中，最終想要的是了解人類行為並預測。這就是所謂的行為預測。

這些行為預測是使用循環神經網絡進行的：它們使用過去的信息來預測未來的行為。因此，可以確切地知道要做什麼，並且可以衡量預測的置信度。舉兩個行為預測簡單的例子：

1、如果車輛觀察到有行人注視著它，則發生事故的風險很低。如果觀察到行人不注意就跑，風險會更高。

Waymo的系統是如何做到這一點的呢？其預測系統是一個混合體，結合了機器學習和人類知識。所謂的人類知識，就是人類對世界的了解，例如交通法規和不可能的事情——人類行走或者跑步的速度不可能達到50公里/小時）。

06.仿真

如文章開頭所說，Waymo的自動駕駛在模擬器中運行了數百億公里，該模擬器的輸入為真實世界數據。

Waymo的仿真系統可以實時回放，可以模擬行為構建完整的場景，並查看算法是如何表現的。事實上，Waymo平均每天運行25,000輛虛擬汽車，並且在這些模擬中每天行駛1千萬英里。

為了模擬更多場景，Waymo正在使用DeepMind和深度強化學習來創建代理和駕駛策略。

在強化學習中，策略是一種行為。其可以模擬一個憤怒的司機試圖危險的切入。每次他們都會查看算法的行為和正確性。

一旦他們對駕駛員進行了準確且訓練有素的預測，就可以生成要採取的軌跡。這也稱為決策和軌跡生成。Waymo的駕駛模型稱為ChauffeurNet，如圖7所示。

圖7 ChauffeurNet駕駛模型

07.規劃

軌跡是一系列點坐標組成，其目標是綜合來考慮安全性、速度和可行性，生成誤差最合適的軌跡。Waymo的完整規劃模塊如圖8所示。

圖8 規劃模型

Agent RNN是一個為自動駕駛車輛生成軌跡的網絡。這些軌跡將考慮航向（可行性）、速度（交通規則）、航路點（長度）等。Agent RNN的目標是模擬一個可行的、現實的軌跡。

Road Mask Net用於確保生成的軌跡為動車道，防止生成的軌跡中含有非機動車道。

最後，軌跡還考慮了排斥器和吸引器。用於將車輛維持在車道中，避開路障。

生成軌跡的過程還使用了逆強化學習技術。在逆強化學習中，嘗試著眼於真實的人類軌跡，並確定是什麼使這條軌跡成為一個好的軌跡，這有利於改進了生成的軌跡並使其更接近人類行為。

總結

Waymo的自動駕駛技術積累了十幾年，而且背靠Google，可以借鑑不少地圖方面的經驗，但是Waymo專注於L4以上的自動駕駛開發，這一點從目前來看，不是大多數，大部分公司先著眼於L2和L3的落地，並且逐步實現L4及以上。像百度之前也專注於L4及以上的開發，但是後來嘗試L2和L3的落地。