摘要
穩定可靠的道路路沿先驗信息對於自動駕駛車輛導航是至關重要，本文提出了一種基於相機語義信息和稠密的雷射雷達點雲融合的魯棒路沿檢測和濾波技術。通過融合多個雷射雷達獲取的點雲數據，以實現穩健的特徵檢測。攝像頭語義信息是基於改進的EfficientNet架構，該架構使用從車載魚眼攝像頭獲取的標記數據進行訓練，在使用魚眼模型投影到圖像空間後，使用L2範數分析將點雲與最近的路沿段相關聯起來。
然後，使用基於密度的無監督空間聚類對所選點雲進行聚類，以檢測不同的路沿區域，當在連續幀中檢測到新路沿點時，它們將使用時間可達性約束與現有路沿簇相關聯，如果未找到可達性約束，則從這些新點形成新的路沿群集，這確保了我們可以檢測由多條車道組成的路段中存在的多個路沿，如果它們位於傳感器的視野範圍內。最後，將Delaunay濾波應用於離群點的去除，並將其性能與傳統的基於RANSAC的濾波進行了比較。使用包含從商業地圖供應商處獲得的地面真實限制點的高精地圖，對提出的解決方案進行客觀評估，該系統已被證明能夠在複雜的城市道路場景中檢測任何方向的路沿，包括直線道路、曲線道路和與交通島的交叉口。
主要貢獻
穩健的環境感知是自動駕駛的一個基本方面，對道路安全和效率非常重要，並會影響路徑規劃、控制和定位等技術問題。高度動態的駕駛環境會給自動駕駛車輛帶來嚴重的安全挑戰。對象（靜止或移動）以及道路構造可能會更改道路的幾何圖形，並影響定位和路徑規劃性能下降。路沿是界定道路邊界，並為車輛導航提供有用信息；因此，準確地檢測和跟蹤它們非常重要。在過去幾年中，已經提出了許多方法來使用單個傳感器或傳感器模式的組合來檢測和提取路沿特徵，大多數路緣檢測系統使用雷射雷達和相機，雷射雷達傳感器經常用於檢測路沿特徵，因為路沿本身具有幾何特徵，還提出了基於視覺的處理技術，由於雷射雷達和視覺具有不同的故障模式，傳感器融合近年來變得很流行，它利用了兩種傳感器的最佳特性-相機圖像的語義信息和雷射雷達的深度信息。
圖1：頂部：數據採集車的路線，底部：使用提出的方法（藍點）和商業地圖供應商提供的地面真實路緣特徵（綠點）檢測路沿特徵
本文的工作屬於相機的語義信息與雷射雷達深度的融合技術，在圖1中展示了我們提出的方法的結果。具體貢獻：
- 使用無監督DBSCAN聚類檢測和關聯多個路沿。
- 使用基於Delaunay的過濾方法去除異常值，與基於RANSAC的多項式擬合回歸約束相比，該方法需要更少的參數調整。
主要內容
傳感器的事先標定是傳感器融合的基本前提，此外，我們用特徵關聯的融合技術的一個重要特徵是：對雷射雷達點雲進行運動校正和變換，以便與可用相機幀的時間戳處記錄的數據等效，這有助於所有傳感器的數據都需要正確的時間同步。
圖2：位於採集車輛周圍的兩個前雷射雷達和四個攝像頭的FoV示意圖。然而，我們的實驗只使用了兩個前置攝像頭，車輛基架B位於後軸的中心，雷射雷達的傳感器框架為LL和LR，分別代表左前和右前雷射雷達。GNSS的IMU框架表示為I
A，傳感器配置和參考幀
數據採集車由兩個雷射雷達和兩個攝像頭組成。傳感器的參考坐標系和視野（FoV）如圖2所示。車輛基架B位於車輛後軸的中心。雷射雷達和攝像頭的傳感器讀數在底架B中分別表示為LB k和CB k，其中k表示傳感器在車輛中的位置。例如，LL和LR表示左前和右前雷射雷達幀，來自GNSS的位姿信息在UTM在世界幀中發布，GNSS的IMU幀I如圖2所示，所有傳感器間轉換都是使用之前的校準參數執行。
B、 雷射雷達點雲的語義關聯
通過將投影后點雲與分割後的相機圖像語義信息相關聯來提取雷射雷達的語義特徵，利用訓練好的 Efficient-Net 模型進行圖像分割。
1） 語義分割的 Efficient-Net ：自AlexNet贏得2012年ImageNet競賽以來，卷積神經網絡（ConvNet）已越來越多地被用作圖像分割任務的標準，雖然更高的精度對於自動駕駛應用至關重要，但我們已經達到了使用ConvNets進行圖像分割任務的硬體內存限制。因此，進一步提高精度需要更高的效率。EfficientNet的作者指出，可以通過仔細平衡網絡深度、寬度和解析度來實現模型縮放，從而在固定的計算資源量下獲得更好的性能。在此基礎上，我們使用了一種改進的EfficientNet體系結構進行語義分割。
表一：EfficientNet-B0基線網絡架構
EfficientNet架構如表I所示，為了將網絡輸出採樣到其原始輸入解析度，解碼器架構中使用了雙線性插值，為了實現穩健性，我們在多種場景（城市駕駛、雪地條件、郊區）上訓練了EfficientNet模型，總體訓練準確率79.10%，平均IoU為0.495，對於路沿等級，精度為67.20%，IoU為0.557，樣本幀上的分割結果可以在圖3a中可視化。
圖3：與雷射雷達點雲的語義關聯圖示
2） 路沿語義與雷射雷達深度的關聯：安裝在我們平台上的攝像頭有魚眼鏡頭，因此，我們通過在圖像空間中對融合的lidar點進行魚眼投影來提取路沿點，並在±3像素的範圍內選擇更靠近路緣像素的點雲，最後，將路沿點重新投影回基架B坐標系下，圖3顯示了從語義關聯中提取路沿的結果。
C、 無監督聚類和濾波
由於各種原因，例如日誌的同步質量、校準參數或相機投影模型，點雲關聯技術可能會給我們帶來噪聲點雲，為了去除異常值，可以根據路沿的幾何結構進行過濾，然而，由於我們事先不知道路沿的預定義數量，因此很難對提取的路沿點應用多項式擬合，為了克服這個問題，我們首先找到一組無監督聚類，並根據空間密度將新檢測到的路沿點關聯到相關聚類中。
1） 疊代聚類關聯：我們疊代選擇提取的路沿點雲，並應用無監督的空間聚類，簇的邊界點是距離簇質心最遠的點，如果新簇中邊界點的L2範數小於舊簇邊界點的預定義閾值，則合併簇，此操作有助於識別路沿段的數量。圖4顯示了我們使用DBSCAN進行聚類的結果。
圖4：使用DBSCAN隨機顏色的疊代特徵點聚類表示檢測到的不同聚類結果
2） Delaunay濾波：
Delaunay四面體的Voronoi子圖是通過從計算的中心過濾大半徑的外接球體來計算的，這將刪除點體積外的四面體並刪除異常值，Voronoi子圖中連接起點和終點的最短歐氏路徑為我們提供了中軸，靠近中軸的點為我們提供了與路沿相對應的濾波點雲，該過程的圖示如圖5所示
圖5：使用Delaunay濾波的路沿點雲
實驗
A、 數據集
我們從Scania州一個裝有兩個雷射雷達和兩個前置攝像頭的自動公交站台收集數據，路線長度為1.5公里，地面實況（GT）路沿特徵由地圖供應商提供，所有傳感數據均採用PTP（精密時間協議）同步，並轉換為ROSPAGS進行評估，我們通過手動選擇相應的GT路沿點來評估生成的路路沿點，用於關聯的點雲選擇工具是使用open3d開發的，由於手動關聯是一個繁瑣的過程，我們還提出了一種自動評估集群的機制，聚類算法在scikit learn軟體包中離線評估。
B、 手動分段關聯和評估
我們將地圖供應商的GT點分段關聯，為了評估效果，我們將多項式擬合到GT點，然後，我們從多項式中採樣點，並將其與Delaunay過濾點和RANSAC過濾點關聯，如圖6所示，我們計算評估指標的規範化L2範數（基於所選點數）。
圖6：通過應用RANSAC（藍色點）和Delaunay濾波（紅色點）提取路沿點
C、 自動分段關聯和評估
為了自動評估生成的路沿點，我們測量每個簇段的 Chamfer 距離（CD）。Chamfer 距離的定義為
我們還評估了不同無監督聚類算法的效果，包括 Agglomerative Clustering , BIRCH , DBSCAN 和 OPTICS，表II中報告了我們評估的CD和檢測到的過濾路沿點數量。
我們觀察到，對於手動和自動分段關聯，Delaunay過濾比基於RANSAC的通用過濾更接近GT點，因為Delaunay過濾的L2範數和CD低於RANSAC。我們還觀察到，與RANSAC相比，Delaunay濾波選擇的內部點較少。如圖6所示，入口與GT點更接近。我們得出結論，基於密度的無監督分段聚類算法最適合基於計算的CD擬合任意數量的路沿。
總結
本文提出了一種基於三維Delaunay四面體的多模態路沿檢測和建圖算法，我們演示了使用我們的聚類方法檢測任意數量的路沿，評估表明Delaunay濾波在抑制異常值去除方面優於傳統的基於RANSAC的濾波方法，為了進一步擴展這項工作，我們將研究在不同噪聲條件下中軸產生的不穩定性，我們還想將語義關聯擴展到其他基礎設施功能，如道路線、紅綠燈、人行道，我們正努力通過在反畸變的圖像上重新訓練語義分割模型，在開源數據集上測試我們的解決方案。
活動推薦：
華車展ICVS將於2022.9.26-29 蘇州國際博覽中心舉辦中國智能汽車及自動駕駛博覽會，同期舉辦：中國智能汽車產業鏈展，展會規模超30,000㎡、參展品牌500+、共計30,000+專業觀眾到場，同期還有100場行業大咖演講。點擊ICVS自動駕駛商業化主頁—>進入菜單欄展會報名頁面，即可免費領取參觀門票，現階段報名還將獲取更多福利。