自動駕駛多目視覺感知
關注創建者：匿名 創建時間：2022-01-24
自動駕駛多目視覺感知的實例教程
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對這兩種感知任務做了詳細的介紹。
視覺傳感器：2D感知算法
從傳感器的數量上看，視覺感知系統也分為單目系統，雙目系統，以及多目系統。2D感知任務通常采用的是單目系統，這也是計算機視覺和深度學習結合最緊密的領域。但是自動駕駛感知最終需要的是3D輸出，因此我們需要將2D的信息推廣到3D。
在
深度學習取得成功之前，通常的做法是根據目標的先驗大小以及目標處于地平面上等假設來推斷目標的深度（距離），或者采用運動信息進行深度估計（Motion Stereo）。有了深度學習的助力之后，從大數據集中學習場景線索，并進行單目深度估計成為了可行的方案。但是這種方案非常依賴于模式識別，而且很難處理數據集之外的場景（Corner Case）。比如施工路段的特殊工程車輛，由于數據庫中很少出現或者根本沒有此類樣本，視覺傳感器無法準確檢測該目標，因而也就無法判斷其距離。
雙目系統可以自然的獲得視差，從而估計障礙物的距離。
這種系統對模式識別的依賴度較小，只要能在目標上獲得穩定的關鍵點，就可以完成匹配，計算視差并估計距離。
但是，雙目系統也有以下缺點。
首先，如果關鍵點無法獲取，比如在自動駕駛中經常引發事故的白色大貨車，如果其橫在路中央，視覺傳感器在有限的視野中很難捕捉關鍵點，距離的測算就會失敗。
其次，雙目視覺系統對攝像頭之間的標定要求非常高，一般來說都需要有非常精確的在線標定功能。
展開 來源 |
CV研習社、計算機視覺life
知圈
|
進“域控制器群”請加微13636581676,備注
域
本文針對自動駕駛行業的視覺感知做簡要介紹，從傳感器端的對比，到數據的采集標注，進而對感知算法進行分析，給出各個模塊的難點和解決方案，最后介紹感知模塊的主流框架設計。
目錄
傳感器組件
相機標定
數據標注
功能劃分
共性問題
模塊架構
視覺感知系統主要以攝像頭作為傳感器輸入，經過一系列的計算和處理，對自車周圍的環境信息做精確感知。目的在于為融合模塊提供準確豐富的信息，包括被檢測物體的類別、距離信息、速度信息、朝向信息，同時也能夠給出抽象層面的語義信息。所以道路交通的感知功能主要包括以下三個方面：
動態目標檢測（車輛、行人和非機動車）
靜態物體識別（交通標志和紅綠燈）
可行駛區域的分割（道路區域和車道線）
這三類任務如果通過一個深度神經網絡的前向傳播完成，不僅可以提高系統的檢測速度，減少計算參數，而且可以通過增加主干網絡的層數的方式提高檢測和分割精度。
展開 車聯網領域隨著物聯網與交通運輸領域的深度融合蓬勃發展．隨著深度學習的進步,車聯網領域的自動駕駛技術得到了突破性的發展,并有演化成一場新的汽車工業革命的趨勢．無論是特斯拉、蔚來等新型車企,還是福特、寶馬等傳統車企都陸續拿到了自動駕駛路測牌照,著眼于研發深度自動駕駛技術．迅猛發展的深度自動駕駛技術正逐漸成為車聯網領域的主要支撐技術之一,正在改變未來的交通和出行方式．
視覺感知模塊是自動駕駛進行環境感知的重要組件,也是車輛進行智能決策的重要基礎．自動駕駛領域的重要企業特斯拉更是將視覺感知模塊作為其駕駛系統的唯一環境感知模塊．因此,自動駕駛系統視覺感知模塊的安全性是自動駕駛系統正常工作的關鍵．雖然視覺感知模塊的表現隨著深度視覺技術的發展穩步提升,但是其從駕駛環境中感知到的特征語義難被理解、決策過程無法解釋．如何對自動駕駛系統視覺感知模塊的安全性進行充分測試,已經成為了一個迫在眉睫、亟待解決的問題．
誠然,圍繞深度學習可解釋性方面的工作有了一定的突破,但是距離分析清楚自動駕駛視覺感知模塊的錯誤傳導機理還有較遠的距離．近年來,神經網絡的黑盒攻擊方法的進步,啟發大家提出了一些基于場景搜索的自動駕駛視覺感知模塊安全性測試技術．這些場景驅動的測試方法利用黑盒測試的思路,為駕駛系統提供盡可能多的駕駛場景數據,觀察自動駕駛系統的輸出與測試預言(TestOracle)之間的差異,進而分析自動駕駛系統視覺感知模塊的安全性．
展開 簡介
多模態融合是感知自動駕駛系統的重要任務。本文將詳細闡述基于多模態的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數據級、特征級、對象級、不對稱融合對現有的方案進行分類。此外，本文提出了本領域的挑戰性問題并就潛在的研究機會進行開放式討論。
多模態融合感知的背景
單模態數據的感知存在固有的缺陷，相機數據主要在前視圖的較低位置捕獲。在更復雜的場景中，物體可能會被遮擋，給物體檢測和語義分割帶來嚴峻挑戰。
此外，受限于機械結構，激光雷達在不同距離處具有不同的分辨率，并且容易受到大霧和大雨等極端天氣的影響。
因此LiDAR 和相機的互補性使得組合感知方面具有更好的性能。感知任務包括目標檢測、語義分割、深度補全和預測等。我們主要關注前兩個任務。
數據格式
相機提供了豐富的紋理信息的RGB圖像。具體來說，對于每個圖像像素為 (u, v)，它有一個多通道特征向量 F(u,v) = {R, G, B, ...}，通常包含相機捕獲的紅色、藍色、綠色通道或其他手動設計的特征作為灰度通道。
然而，由于深度信息有限，單目相機難以提取，因此在 3D 空間中直接檢測物體相對具有挑戰性。因此，許多方案使用雙目或立體相機系統通過空間和時間空間來利用附加信息進行 3D 對象檢測，例如深度估計、光流等。
激光雷達使用激光系統掃描環境并生成點云。一般來說，大多數激光雷達的原始數據都是四元數，如(x, y, z, r)，其中r代表每個點的反射率。
不同的紋理導致不同的反射率，然而，點的四元數表示存在冗余或速度缺陷。因此，許多研究人員嘗試將點云轉換為體素或 2D 投影，然后再將其饋送到下游模塊。
展開 來源 | 自動駕駛干貨鋪、智車科技
導讀：多模態融合是感知自動駕駛系統的重要任務。本文將詳細闡述基于多模態的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數據級、特征級、對象級、不對稱融合對現有的方案進行分類。此外，本文提出了本領域的挑戰性問題并就潛在的研究機會進行開放式討論。
多模態融合感知的背景
單模態數據的感知存在固有的缺陷，相機數據主要在前視圖的較低位置捕獲。在更復雜的場景中，物體可能會被遮擋，給物體檢測和語義分割帶來嚴峻挑戰。
此外，受限于機械結構，激光雷達在不同距離處具有不同的分辨率，并且容易受到大霧和大雨等極端天氣的影響。
因此LiDAR 和相機的互補性使得組合感知方面具有更好的性能。感知任務包括目標檢測、語義分割、深度補全和預測等。我們主要關注前兩個任務。
數據格式
相機提供了豐富的紋理信息的RGB圖像。具體來說，對于每個圖像像素為 (u, v)，它有一個多通道特征向量 F(u,v) = {R, G, B, ...}，通常包含相機捕獲的紅色、藍色、綠色通道或其他手動設計的特征作為灰度通道。
然而，由于深度信息有限，單目相機難以提取，因此在 3D 空間中直接檢測物體相對具有挑戰性。因此，許多方案使用雙目或立體相機系統通過空間和時間空間來利用附加信息進行 3D 對象檢測，例如深度估計、光流等。
激光雷達使用激光系統掃描環境并生成點云。一般來說，大多數激光雷達的原始數據都是四元數，如(x, y, z, r)，其中r代表每個點的反射率。
不同的紋理導致不同的反射率，然而，點的四元數表示存在冗余或速度缺陷。
展開 
自動駕駛多目視覺感知的相關專題、標簽、搜索
自動駕駛多目視覺感知的最新內容
來源 | 自動駕駛干貨鋪、智車科技
導讀：多模態融合是感知自動駕駛系統的重要任務。本文將詳細闡述基于多模態的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數據級、特征級、對象級、不對稱融合對現有的方案進行分類。此外，本文提出了本領域的挑戰性問題并就潛在的研究機會進行開放式討論。
多模態融合感知的背景
簡介
多模態融合是感知自動駕駛系統的重要任務。本文將詳細闡述基于多模態的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數據級、特征級、對象級、不對稱融合對現有的方案進行分類。此外，本文提出了本領域的挑戰性問題并就潛在的研究機會進行開放式討論。
多模態融合感知的背景
單模態數據的感知存在固有的缺陷，相機數據主要在前視圖的較低位置捕獲
摘要
近年來,基于深度學習的視覺感知技術的發展極大地促進了車聯網領域中自動駕駛的繁榮,然而自動駕駛系統的安全問題頻出引發了人們對自動駕駛未來的擔憂．由于深度學習系統的行為缺乏可解釋性,測試基于深度學習的自動駕駛系統的安全性極具挑戰性．目前已有針對自動駕駛場景的安全性測試工作被提出,但這些方法在測試場景生成
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對這兩種感知任務做了詳細的介紹。
視覺傳感器：2D感知算法
從傳感器的數量上看，視覺感知系統也分為單目系統，雙目系統，以及多目系統
來源 |
CV研習社、計算機視覺life
知圈
|
進“域控制器群”請加微13636581676,備注
域
本文針對自動駕駛行業的視覺感知做簡要介紹，從傳感器端的對比，到數據的采集標注，進而對感知算法進行分析，給出各個模塊的難點和解決方案，最后介紹感知模塊的主流框架設計。
3月9日，來自蔚來北美自動駕駛的副總裁 Jamie Carlson 及其團隊從美國圣何塞來到中國北京，在蔚來交付中心丨北京亦莊與來自全國的ES8用戶面對面，向大家分享了當今自動駕駛技術的內容以及蔚來取得的進展和計劃。 3月6日，蔚來汽車發布的未經審計財報顯示，2018年，該公司營收達到49.5億元，但凈虧損從上一年的50.2億元，暴增至96.4億元。財報同時顯示，蔚來取消2017年簽訂的在上海嘉定
