DRIVE Sim 中的神經重建引擎（Neural Reconstruction Engine，NRE）可以將錄製的真實駕駛數據轉化為自動駕駛仿真。
自動駕駛汽車仿真面臨著兩項挑戰：一是生成細節豐富、高度逼真的仿真世界，來讓 AI 駕駛員「信以為真」，二是生成規模足夠大的仿真，以涵蓋 AI 駕駛員所需的充分訓練和測試。
為應對這些挑戰，來自 NVIDIA 的研究人員創建了一項全新的 AI 工具，可以直接基於真實世界數據來構建仿真。NVIDIA 創始人兼執行長黃仁勛在 GTC 主題演講中介紹了該項技術突破。
神經重建引擎
神經重建引擎（NRE）是 NVIDIA DRIVE Sim 仿真平台上的一個全新 AI 工具集，它能夠使用多個 AI 網絡，可以將傳感器採集到或者以其他形式被記錄保存下來的真實場景數據轉化為仿真。
這個工作流運用 AI 技術來自動提取仿真所需的關鍵部分，包括環境、3D 資產和場景，然後將這些內容重構成仿真場景。這些場景既具備數據記錄的真實性，又能夠進行全面的反饋，而且可以按需操控。相反，如果通過人工方式來實現相同細節和多樣性水平的場景，不但成本高、耗時長，且無法擴展。
環境和資產
要進行仿真，就需要可操作的環境。該 AI 工作流能夠把現實世界中的 2D 視頻數據轉換成可以加載到 DRIVE Sim 中的動態 3D 數字孿生環境。
DRIVE Sim 的 AI 工作流採用類似的流程來重構其他 3D 資產。工程師可以使用這些資產來重構當前的場景，或將它們放入到更大的資產庫中，用於以後其他的仿真。
使用資產採集工作流是持續拓展 DRIVE Sim 素材庫，並確保其與現實世界中的多樣性和分布相匹配的關鍵。
可以從真實世界數據中獲取資產，將其變成 3D 物體，並在其他場景中重複使用。比如，這裡的拖車在左邊的場景中重構後，被用於右邊所顯示的另一個仿真場景
場景
本文中的場景，是指在添加了資產的環境中進行仿真時所發生的事件。
神經重建引擎會將 AI 行為分配給場景中的人物，因此當其面對原始事件時，他/她的行為與在現實中實際駕駛時的行為完全一致。此外，由於仿真中的人物具有 AI 行為模型，因此他們可以對自動駕駛汽車或其他場景元素的變化做出響應和反饋。
此外，由於這些場景都是在仿真世界中發生的，開發人員可對其進行進一步的操作，如，加入新的場景，或者改變事件的時間和地點。開發人員甚至可以加入新的合成或真實元素，使場景變得更具挑戰性，例如在下面的場景中加入一個追著球的孩子。
與 DRIVE Sim 相集成
當環境、資產和場景被提取出來後，可在 DRIVE Sim 上進行重組，創建出所記錄場景的 3D 模擬，或者通過與其他資產混合來創建一個全新的場景。
DRIVE Sim 為開發者提供了調整動態和靜態物體、車輛路徑以及車輛傳感器位置、方向和參數的工具。
DRIVE Sim 中的相同場景也會被用於生成預標記的合成數據，以便訓練感知系統。與此同時，隨機化原則也被應用在重建的場景之上，從而增加訓練數據的多樣性。基於真實世界數據構建場景，大大縮小了仿真與真實世界的差距。
仿真格式混合與匹配功能將為自動駕駛汽車的大規模測試和驗證帶來巨大的便利，工程師們可以在一個反應靈敏、精準匹配其需求的世界中操作各種事件。
作為 NVIDIA 研究團隊的工作成果，神經重建引擎將被集成到 DRIVE Sim 的未來版本中。這項突破將使開發人員能夠在同一個雲平台上充分運用基於物理學、神經驅動的仿真。
正如之前提到的，在仿真中重建真實駕駛場景並從中生成真實的數據是一個費時費力的過程。這需要技術經驗豐富的工程師和藝術家，但即便如此，也很難做到。目前，NVIDIA 已實施兩種基於 AI 的方法來無縫執行此過程：虛擬重建和神經重建。第一種方法複製真實場景，作為完全合成的 3D 場景，第二種方法就是本文介紹的 NRE，使用神經仿真增強真實的傳感器數據。
這些新方法由 NVIDIA 在渲染、圖形和 AI 方面的專業知識所驅動。
作為一個模塊化平台，DRIVE Sim 在確定性仿真的基礎上支持這些功能。它提供車輛動態、基於 AI 的交通模型、場景工具和全面的 SDK，以構建所需的任何工具。
藉助 NRE，開發人員可以輕鬆地從現實世界遷移到虛擬世界，從而加快自動駕駛的開發和部署。
即刻掃描下方海報二維碼
觀看 GTC 主題演講重播。