是否需要神經(jīng)網(wǎng)絡來處理所有視覺任務？ 根據(jù)所開發(fā)功能的不同，感知任務也會存在差異。在環(huán)視系統(tǒng)中，由于魚眼相機的有效檢測范圍只有20米以內(nèi)，所以可行駛區(qū)域的分割就顯得沒那么重要。 再者相機的失明或圖像的污漬檢測應該在檢測算法之前就對數(shù)據(jù)的有效性進行判斷，而非和目標識別等功能并行輸出。 再比如環(huán)視泊車場景中對車位的距離要求往往精確到厘米級別，采用神經(jīng)網(wǎng)絡進行深度估計很難達到工程要求。 是否用一塊計算單元處理所有感知算法？ 如果將所有子任務都放在一個神經(jīng)網(wǎng)絡中進行處理，那么有可能造成算力資源的浪費，許多硬件廠商對外宣稱的芯片算力是各個計算單元的總和，如TDA4x中就包括多塊DSP。從最大化資源利用角度上應該將不同算法分散部署同時運行。 是否能統(tǒng)一多任務網(wǎng)絡的數(shù)據(jù)輸入形式？ 雖然很多視覺任務是針對單幀來處理的，但是視角可能存在差異，目標主流的環(huán)視系統(tǒng)中對車位線的檢測是將四顆魚眼采集的圖像拼接成鳥瞰圖后輸入網(wǎng)絡，而障礙物檢測的視角往往是前視圖形式。 4 如何用單任務識別物體和車位？ 這里所說的環(huán)視感知系統(tǒng)的單任務僅針對神經(jīng)網(wǎng)絡部分，環(huán)視感知最關(guān)心的是3D障礙物的識別和車位的識別。我們將相機的失明檢測，目標的距離估計，平面的假設方程等任務剝離出神經(jīng)網(wǎng)絡，只關(guān)心障礙物和車位的目標檢測；然后統(tǒng)一輸入數(shù)據(jù)的視角；并在車位線識別中使用檢測方法取締分割任務。 魚眼圖像中如何檢測2.5D或3D的障礙物信息？ 首先我們知道在感知系統(tǒng)中，2D框的檢測基本沒有太大的意義，如果無法得到車輛的朝向信息，就無法精確的計算目標車輛距離本車的實際距離。所以煉丹師們一般會考慮在2D框的基礎上增加朝向角的預測是否就可以得到一個2.5D的目標形式了呢？如下圖所示：以及更加端到端的做法是否可以直接回歸出3D立體框呢？如下圖所示：當然根據(jù)實際操作經(jīng)驗，直接回歸3D框目前還不太穩(wěn)定，不過基于2.5D的預測在加上后處理等功能已經(jīng)能實現(xiàn)輔助駕駛中L2+的功能需求了。 障礙物的檢測毫無疑問采用魚眼圖像進行處理，但是車位線的檢測是否也能在該視角下進行呢？ 讀者可以參考這篇文章：《Real Time Detection Algorithm of Parking Slot Based on Deep Learning and Fisheye Image》。算法大意分成三步：
