序言：不談公司（無論大公司如Google Waymo, Uber, Nvidia，Siemens Tass和百度，還是創業公司如Cogna，Righthook，Parallel Domain, Metamoto，國內51VR，PanoSim和RealDrive），不談商用產品（preScan, Carmaker, Carsim, dSpace， Unity SimViz），不打廣告，只談學術論文，僅供參考。

自動駕駛模擬仿真系統的目的是為了減少上車測試的開銷和風險，眾所周知谷歌開發的仿真系統CarCraft已經跑了25億英里，而實際車載測試才1000萬英里。 其中將實際上車測試的問題在模擬仿真系統中進行復現并添加各種變化被成為“fuzing”，當時開發的可視化平臺Xview就是模擬仿真系統的一部分，相當于顯示界面。

這樣的模擬仿真系統構成一般包括多個算法模塊，比如：

1. 傳感器模型：攝像頭（游戲引擎類似的功能），激光雷達，雷達，聲納...

2. 高清地圖和虛擬環境（類似VR），一些高清地圖的制造商也可以直接從真實環境中生成，比如三番，紐約，倫敦城市等等；

3. 車輛模型（OEM數據，動力學模型，控制模型），行人，摩托和自行車等等，以前做motion capture的公司有很好的數據，商用的汽車模擬軟件在這些方面很成熟；

4. 道路系統（路徑網絡）和道路特性（地質，坡度，風險，利用率等等）；

5. 環境模型（季節，氣候，天氣，時間如白天/晚上，等等），跟傳感器模擬關系大；

6. 交通模型（交通規則，限速，停車，十字/丁字/環路，紅綠燈，讓路，分岔，匯入等等）；

7. 駕駛模型 (駕駛行為，導航規則，避撞，個人特色，文化，地域等等）；

8. 應用相關的，比如運動規劃，模擬訓練。

下面論文分析中會針對這些問題討論解決方案。

先介紹一下當年DARPA自動駕駛比賽的幾個高校開發的模擬仿真系統：

Boss （CMU）

TROCS (Tartan Racing Operator Contol Station)

Talos （MIT）

RNDF

SimCreator

Odin （Virginia Tech.）

Junior (Stanford U.)

感覺這些高校做的仿真和可視化工具還比較low......

Simulation in development and testing of autonomous vehicles （Daimler）

下表是測試平臺和仿真的重要性比較：

下圖展示仿真模擬中的人機操作和交互性：

下圖列出了仿真模擬環境的主要模塊：道路模型，交通模型，傳感器模型，車輛模型，自動駕駛控制軟件的集成。

Simulation Framework for Executing Component and Connector Models of Self-Driving Vehicles

如圖所示：包括一些車模型，MontiCAR C&C模型對控制系統的建模，MontiCAR Simulation visualization模塊提供可視化，Simulation Model提供仿真模型，還有環境，傳感器和執行器模型等等。

Testing and Validating High Level Components for Automated Driving: Simulation Framework for Traff ic Scenarios

如圖所示：高級AD模塊是被模擬激發，一個合適的車體接口被召喚，而且一個沒有任何機械元素的avatar就可以動。

下圖展示的是一個車體模型：Ackermann四輪模型。

下圖：采用ray-casting算法模擬物體分類。

如圖：虛擬交通參與者可以從開源交通流模擬器SUMO加入（黃色車），而真實場景下的車輛也可以被模仿（黑色車）。

SOFTWARE ARCHITECTURE FOR AN AUTONOMOUS CAR SIMULATION USING ROS, MORSE & A QT BASED SOFTWARE FOR COOL AND MONITORING

下圖是一個自動駕駛車的結構圖：

MORSE (Modular OpenRobots Simulation Engine) 是學術機器人模擬器。這是簡化的模擬器架構：

下圖是模塊通信方案：

An Integrated Architecture for Autonomous Vehicles Simulation

如圖是系統框圖：USARSim是robotics simulator，SUMO （Simulation of Urban MObility）是開源的microscopic traffic simulator。

下圖是SUMO的實現概圖：

AutonoVi-Sim: Autonomous Vehicle Simulation (U. North Carolina, Chapel Hill)

該仿真環境分成8個模塊：環境, 道路網, 道路, 司機, 基礎平臺, 車身, 非車體交通（行人，自行車）和分析（數據）模塊。

下面是模塊介紹：左邊是傳感器，中間是導航算法，右邊是數據分析。

仿真場景和條件變化見下圖：

rFpro & SUMO: The Road To A Complete Real-Time Simulation Of Urban Environments for DIL, ADAS and Autonomous Testing

一家英國仿真軟件公司，下圖為模擬系統總覽圖：

這是模擬運行的硬件平臺：

這個圖顯示的是 rFpro, SUMO 和用戶的車輛模型之間的數據流：

最后看看一個模擬的真實場景：上海一個十字路口。

這個論文比較特別，是在現實場景直接添加虛擬車輛：

Augmented Reality Meets Computer Vision : Efficient Data Generation for Urban Driving Scenes

AR自然是虛實結合，下圖是真實場景里面放了虛擬的車輛：

整個AR系統示意圖如下：車輛模型+環境圖。

百度Apollo的工作 “AADS: Augmented Autonomous Driving Simulation using Data-driven Algorithms“

最后，不得不提一下兩個開源軟件。

AirSim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles

微軟出的開源，本來是無人機方面，后來搞無人車。

CARLA: An Open Urban Driving Simulator

Intel和其他幾家一起出的軟件平臺，感覺人力還是不足。

再加一個，韓國LG公司的，不過是和兩個開源自動駕駛軟件捆綁的，即Autoware和Baidu Apollo。

LGSVL Simulator: An Autonomous Vehicle Simulator

大多數VR和模擬仿真系統用Unreal Engine，這里介紹一下Unity最近開發的SimViz工具。

傳感器模型包括：

• RGB-D Camera

• LiDAR

• Radar*

• IMU

• GPS

參考場景包括:

• 城市街道
• 高速公路
• 住宅區

系統框圖：

看看生成的自動駕駛場景：INDAGO公司用了這個工具。