魚眼相機
關注創建者：匿名 創建時間：2021-08-04
魚眼相機的實例教程
目前找到的只有三個：
ps2.0
PSV
WoodScape
ps2.0是一份四顆魚眼拼接后的數據，數據均屬于停車場景，訓練集約1W張，測試集不到5K張，標簽是mat格式。數據如下圖所示：
PSV同ps2.0數據集差不多，由四顆魚眼相機拼接后的圖片制作而成。數據量較小，訓練集2550張，驗證集425張，測試集1274張，標簽是語義分割圖。數據如下圖所示：
WoodScape數據集更偏向于每顆魚眼獨立的環境感知，標簽包括約1W張外接框標簽、約1W張語義標簽、約1W張深度圖、4顆相機的標定文件等信息，適用于分割、深度估計、三維包圍盒檢測、斑點檢測等9項任務。數據如下圖所示：
5 如何進階提高車位線檢測？
基于開源數據集訓練的結果往往不適用自己的場景，需要自采自標小批量的對應場景做網絡微調從而提高車位線的檢測效果。
在這個過程中我們會遇到很多問題，比如如何采集數據、采集多少數據、采集哪些場景？
展開 本文將分享如何利用自動駕駛仿真軟件配置仿真傳感器與搭建仿真環境，并對腳本進行修改，優化和驗證4個魚眼相機生成AVM（Around View Monitor）合成數據的流程。通過這一過程，一同深入體驗仿真軟件的應用潛力！
一、流程概述
AVM是一種通過多相機實現車輛周圍環境的實時監控和顯示的系統，廣泛應用于自動駕駛和高級駕駛輔助系統（ADAS）的環境感知中。本文基于仿真軟件與腳本生成AVM圖像的流程如下所示：
圖1：基于aiSim構建AVM圖像流程
首先，在Unreal Engine中配置標定投影參數所需的地圖，并在仿真器中為車輛部署4個方向的魚眼相機；
其次，基于相機內參進行去畸變，并記錄求解投影矩陣所需的關鍵參考值，例如AVM畫幅尺寸、參考點的相對坐標、參考區域的大小與位置、車輛與參考區域的距離等；
隨后，在完成了角點提取預處理的標定圖像中快速選取參考點，生成單方向的BEV視圖，重復4次完成標定去畸變；
后文將對每個流程進行具體描述。
二、仿真傳感器與環境配置
對于AVM功能而言，通常需要配備4個及以上的大FOV相機以拍攝車輛周圍的圖像，在此基礎上還可配備雷達以更好地獲取車輛周圍的障礙物信息。
圖2：aiSim相機傳感器障礙物真值輸出
由于本文所使用仿真軟件的相機傳感器可以直接輸出識別對象（車輛、行人等）的2D、3D邊界框真值，所以只需配置4個方向的魚眼相機即可滿足整體需求：
（1）前置魚眼相機：安裝在前方車標附近，約15°俯視角；
（2）后置魚眼相機：安裝在后備箱附近，約25°俯視角；
（3）左、右側魚眼相機：分別安裝在左右后視鏡下方，約40°俯視角與相對車縱軸約100°的偏航角。
展開 二、 AVM系統開發中的仿真驗證應用
環視系統（AVM, Around View Monitor）是自動駕駛和高級輔助駕駛系統（ADAS）中常見的功能模塊，通常由4個或更多廣角魚眼相機構成，通過拼接多個攝像頭圖像生成車輛周圍360°的鳥瞰圖。
自動泊車系統（APA）需要環視圖像提供對車輛周圍環境的精準感知。通過仿真方式模擬魚眼相機布設和 BEV 拼接，可生成多種泊車場景下的高保真圖像，包括地庫、斜列車位、窄通道等復雜工況。相比實車采集，仿真不僅可以批量構造極端和邊緣泊車條件，還能自動提供精確的障礙物位置與車輛姿態標注，大幅加速感知模型的訓練和驗證流程，減少實車調試時間。
傳統 AVM 系統的相機標定依賴人工操作和實車設備，流程繁瑣且精度受限。通過仿真，可控制各攝像頭位置與視角，并生成可重復、可驗證的圖像和標定數據，適用于整車項目開發初期的快速迭代。虛擬標定不僅提高了標定效率，還支持在方案切換、批量測試、相機布局驗證等場景中自動生成對齊標注，降低人力投入，提升系統上線速度。
在實際開發中，AVM對圖像畸變建模、拼接精度、投影映射等有較高要求，傳統方法依賴人工標定與測試，周期長、靈活性差。而基于aiSim的仿真流程，可有效提升開發效率與驗證精度。
通過合成數據仿真平臺，我們借助從環境搭建到數據生成的全流程仿真，成功實現了4個魚眼相機生成AVM合成數據的優化和驗證。
圖1 基于aiSim構建AVM圖像流程
1、標定地圖與仿真環境構建
我們在Unreal Engine環境中快速搭建6米×11米標定區域，使用2×2黑白相間標定板構成特征紋理區域，并精確布設車輛初始位置，確保視野重疊區域滿足投影需求，并通過特定插件將其無縫導入仿真器中。
展開 如圖2所示，視覺傳感器通常包括以下幾種：
(a) 單目相機
(b) 立體相機
(c) RGB-D 相機
(d) 魚眼相機
圖2 典型的視覺傳感器。(a) 單目相機，(b) 立體相機，(c) RGB-D 相機，(d) 魚眼相機。
單目相機特別適用于緊湊性和最小重量至關重要的應用，此外，較低的價格和靈活的部署使其成為無人機的不錯選擇。然而，單目相機無法獲得深度圖。立體相機實際上是安裝在鉆機上的一對相同的單目相機，這意味著它不僅提供單個相機可以提供的所有功能，而且還提供從兩個視圖中受益的額外功能。最重要的是，它可以基于視差原理而不是紅外傳感器的幫助來估計深度圖。RGB-D相機可以借助紅外傳感器同時獲取深度圖和可見光圖像，但由于范圍有限，它們通常用于室內環境。魚眼相機是單目相機的一種變體，它提供寬視角，對于復雜環境中的避障很有吸引力。
?視覺定位與制圖
考慮到導航、視覺定位和地圖系統中使用的環境和先驗信息，可以大致分為三類：無地圖系統、基于地圖的系統和地圖構建系統（圖3）。
展開 攝像頭硬件模組設計需求
在傳統的環視方案中感知本車周邊環境是采用大于 180°FOV 的魚眼相機實現的。隨著 L3平臺在業界的開發、推廣，很多廠商也嘗試推廣基于環視魚眼相機的側視
和后視感知方案。一般情況下環視魚眼相機方案無法達到真正的 L3 +自動駕駛平臺的要求。主要原因如下：
傳統環視相機的安裝位置主要是為了提供前、后、左、右 5-10 米的直觀視覺，而L3 自動駕駛所關注的左前、右前、左后、右后的位置屬于相機圖像拼接范圍，感知精度受拼接影響；
環視相機對遠距離和貼近本車的物體的圖像造成比較大的變形，在原圖中很難準確預測物體的 3D 姿態、大小、和運動軌跡。在矯正的圖中因為形變，感知精度降低；
環視相機一般為感知近距離路面，安裝的 pitch 角度偏低。
因此，具備L3+級自動駕駛的攝像頭硬件模組爆炸圖如下，相應的性能設計中主要考慮如下因素：圖像傳輸方式、輸出分辨率、幀頻、信噪比、動態范圍、曝光控制、增益控制、白平衡、最低照度、鏡頭材質、鏡頭光學畸變、模組景深、模組視場角、額定工作電流、工作溫度、存儲溫度、防護等級、外形尺寸、重量、功能安全等級、接插件/線束阻抗等。
相機的安裝位置和相機的配置很大程度上決定了視覺感知的范圍和精度。
展開 
魚眼相機的最新內容
圖2 基于aiSim插件的Unreal Engine地圖編輯
2、魚眼相機配置與參數設置
設置前、后、左、右四個魚眼相機，分別具備：
（1）高水平FOV（約180°）；
（2）不同俯仰角（前15°、后25°、側向40°）；
（3）安裝位置貼近真實車輛安裝場景（如后視鏡下方）。
圖2：aiSim相機傳感器障礙物真值輸出
由于本文所使用仿真軟件的相機傳感器可以直接輸出識別對象（車輛、行人等）的2D、3D邊界框真值，所以只需配置4個方向的魚眼相機即可滿足整體需求：
（1）前置魚眼相機：安裝在前方車標附近，約15°俯視角；
（2）后置魚眼相機：安裝在后備箱附近，約25°俯視角；
（3）左、右側魚眼相機：分別安裝在左右后視鏡下方，約40°俯視角與相對車縱軸約100°
為了解決這一問題，APA在前后左右硬件配置上各增加了一個魚眼相機，一種可以獲得180°視野內畸變圖像的相機，通過對四個魚眼相機圖像去畸變、拼接，可以獲得上帝視角下的“鳥瞰圖”。并將鳥瞰圖通過中控大屏顯示出來，可以獲得更加友好的泊車體驗。這也是360全景影像功能與APA泊車場景的完美融合。
單、雙目的vo/vio slam系統，并支持魚眼相機。
2. 地圖復用，擁有合并地圖的功能。
3. 高召回的地點識別（占用較低的計算資源換得高召回與精度）
4. 不限制相機模型，只需提供投影，反投影及Jacobian方程（程序里提供了針孔與魚眼模型）
其主要的創新點分為：
1.
魚眼相機：
由十幾個不同的透鏡組合而成，在成像的過程中，入射光線經過不同程度的折射，投影到尺寸有限的成像平面上，使得魚眼鏡頭擁有更大的視野范圍。魚眼相機的視場角一般能達到190°，廣闊的視野范圍也帶來嚴重的圖像畸變。
在環視系統中，由于魚眼相機的有效檢測范圍只有20米以內，所以可行駛區域的分割就顯得沒那么重要。
再者相機的失明或圖像的污漬檢測應該在檢測算法之前就對數據的有效性進行判斷，而非和目標識別等功能并行輸出。
數據如下圖所示：
PSV同ps2.0數據集差不多，由四顆魚眼相機拼接后的圖片制作而成。數據量較小，訓練集2550張，驗證集425張，測試集1274張，標簽是語義分割圖。
魚眼相機是單目相機的一種變體，它提供寬視角，對于復雜環境中的避障很有吸引力。
環視魚眼相機：環視魚眼相機視角較大，可以達到180°以上，對近距離的感知較好，通常用于APA，AVP等泊車場景，安裝于車輛左右后視鏡下方以及前后車牌下方等4個位置做圖像的拼接、車位檢測、可視化等功能。
在前瞻性智能駕駛核心零部件集成構型展示上，大疆車載通過半車模型展示了激光雷達與車頭大燈的集成方案、集成激光雷達與環視魚眼相機的電子后視鏡以及更高精度的雙目立體感知傳感器的實車部署效果。
