自動駕駛視覺感知方案
關注創(chuàng)建者：匿名 創(chuàng)建時間：2022-04-08
自動駕駛視覺感知方案的視頻教程
自動駕駛感知仿真與驗證之毫米波雷達
適用人群：自動駕駛相關（汽車整車廠，傳感器供應商等）行業(yè)人士 無人駕駛雷達天線設計流程與場景動態(tài)模擬【已結束】 直播時間：2019-12-19 20:00 如今，無人駕駛/自動駕駛正在迅速發(fā)展，在自動駕駛中最關鍵的雷達感知領域涉及多種雷達形式，如激光雷達、攝像頭、微波雷達等。
免費 1小時26分鐘 517播放
查看
仿真技術之自動駕駛感知視界-ANSYS傳感器仿真（攝像頭和激光雷達）
ANSYS自動駕駛系列Webinar，結合自動駕駛系統(tǒng)的研發(fā)講述ANSYS工具如何助力自動駕駛的開發(fā)驗證，本期重點為ANSYS自動駕駛解決方案之傳感器仿真（攝像頭和激光雷達）。
免費 1小時24分鐘 423播放
查看
自動駕駛視覺感知方案的實例教程
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對這兩種感知任務做了詳細的介紹。
視覺傳感器：2D感知算法
從傳感器的數(shù)量上看，視覺感知系統(tǒng)也分為單目系統(tǒng)，雙目系統(tǒng)，以及多目系統(tǒng)。2D感知任務通常采用的是單目系統(tǒng)，這也是計算機視覺和深度學習結合最緊密的領域。但是自動駕駛感知最終需要的是3D輸出，因此我們需要將2D的信息推廣到3D。
在
深度學習取得成功之前，通常的做法是根據(jù)目標的先驗大小以及目標處于地平面上等假設來推斷目標的深度（距離），或者采用運動信息進行深度估計（Motion Stereo）。有了深度學習的助力之后，從大數(shù)據(jù)集中學習場景線索，并進行單目深度估計成為了可行的方案。但是這種方案非常依賴于模式識別，而且很難處理數(shù)據(jù)集之外的場景（Corner Case）。比如施工路段的特殊工程車輛，由于數(shù)據(jù)庫中很少出現(xiàn)或者根本沒有此類樣本，視覺傳感器無法準確檢測該目標，因而也就無法判斷其距離。
雙目系統(tǒng)可以自然的獲得視差，從而估計障礙物的距離。
這種系統(tǒng)對模式識別的依賴度較小，只要能在目標上獲得穩(wěn)定的關鍵點，就可以完成匹配，計算視差并估計距離。
但是，雙目系統(tǒng)也有以下缺點。
首先，如果關鍵點無法獲取，比如在自動駕駛中經常引發(fā)事故的白色大貨車，如果其橫在路中央，視覺傳感器在有限的視野中很難捕捉關鍵點，距離的測算就會失敗。
其次，雙目視覺系統(tǒng)對攝像頭之間的標定要求非常高，一般來說都需要有非常精確的在線標定功能。
展開 來源 |
CV研習社、計算機視覺life
知圈
|
進“域控制器群”請加微13636581676,備注
域
本文針對自動駕駛行業(yè)的視覺感知做簡要介紹，從傳感器端的對比，到數(shù)據(jù)的采集標注，進而對感知算法進行分析，給出各個模塊的難點和解決方案，最后介紹感知模塊的主流框架設計。
目錄
傳感器組件
相機標定
數(shù)據(jù)標注
功能劃分
共性問題
模塊架構
視覺感知系統(tǒng)主要以攝像頭作為傳感器輸入，經過一系列的計算和處理，對自車周圍的環(huán)境信息做精確感知。目的在于為融合模塊提供準確豐富的信息，包括被檢測物體的類別、距離信息、速度信息、朝向信息，同時也能夠給出抽象層面的語義信息。所以道路交通的感知功能主要包括以下三個方面：
動態(tài)目標檢測（車輛、行人和非機動車）
靜態(tài)物體識別（交通標志和紅綠燈）
可行駛區(qū)域的分割（道路區(qū)域和車道線）
這三類任務如果通過一個深度神經網絡的前向傳播完成，不僅可以提高系統(tǒng)的檢測速度，減少計算參數(shù)，而且可以通過增加主干網絡的層數(shù)的方式提高檢測和分割精度。
展開 車聯(lián)網領域隨著物聯(lián)網與交通運輸領域的深度融合蓬勃發(fā)展．隨著深度學習的進步,車聯(lián)網領域的自動駕駛技術得到了突破性的發(fā)展,并有演化成一場新的汽車工業(yè)革命的趨勢．無論是特斯拉、蔚來等新型車企,還是福特、寶馬等傳統(tǒng)車企都陸續(xù)拿到了自動駕駛路測牌照,著眼于研發(fā)深度自動駕駛技術．迅猛發(fā)展的深度自動駕駛技術正逐漸成為車聯(lián)網領域的主要支撐技術之一,正在改變未來的交通和出行方式．
視覺感知模塊是自動駕駛進行環(huán)境感知的重要組件,也是車輛進行智能決策的重要基礎．自動駕駛領域的重要企業(yè)特斯拉更是將視覺感知模塊作為其駕駛系統(tǒng)的唯一環(huán)境感知模塊．因此,自動駕駛系統(tǒng)視覺感知模塊的安全性是自動駕駛系統(tǒng)正常工作的關鍵．雖然視覺感知模塊的表現(xiàn)隨著深度視覺技術的發(fā)展穩(wěn)步提升,但是其從駕駛環(huán)境中感知到的特征語義難被理解、決策過程無法解釋．如何對自動駕駛系統(tǒng)視覺感知模塊的安全性進行充分測試,已經成為了一個迫在眉睫、亟待解決的問題．
誠然,圍繞深度學習可解釋性方面的工作有了一定的突破,但是距離分析清楚自動駕駛視覺感知模塊的錯誤傳導機理還有較遠的距離．近年來,神經網絡的黑盒攻擊方法的進步,啟發(fā)大家提出了一些基于場景搜索的自動駕駛視覺感知模塊安全性測試技術．這些場景驅動的測試方法利用黑盒測試的思路,為駕駛系統(tǒng)提供盡可能多的駕駛場景數(shù)據(jù),觀察自動駕駛系統(tǒng)的輸出與測試預言(TestOracle)之間的差異,進而分析自動駕駛系統(tǒng)視覺感知模塊的安全性．
展開 總結
從如上表的總結中不難看出，對于激光雷達所能解決的自動駕駛邊緣場景是不言而喻的，純視覺派的特斯拉方案在未來自動駕駛設計過程中是無法保證其性能和效果的。相應的提升方案肯定是結合視覺的雷達融合方案。
當然本章重點還是介紹了毫米波雷達的感知原理及性能，未來如果是大域控方案的實施策略時，難免不會考慮利用毫米波輸入的原始點云數(shù)據(jù)進行綜合處理。這一過程類似于激光雷達的點云處理，這又涉及多方面的因素。如傳輸帶寬，點云建模模型以及域控制器綜合處理算法。在縱向感知方面，毫米波最強；橫向方面，激光最強。豐田和本田的方案，都是激光作為獨立感知，結果再跟攝像頭融合，最后得出最終目標。
展開 視覺方案對于環(huán)境感知的目的是360度覆蓋，同時注意側重點，例如前視顯然需要長距離。下面為小鵬和特斯拉視覺FOV圖。
特斯拉和小鵬的前視FOV基本一樣，拋開視覺距離不一樣，當然從圖上看特斯拉的前視要遠些，但向后的視覺FOV有些差異，可能為兩家的方案差異點。
小鵬的尾部攝像頭視線長，但窄，而特斯拉采用兩個側向攝像頭覆蓋后視場景，而尾部攝像頭視線短，但寬。這里可以看出特斯拉的尾部攝像頭主要是用作倒車或者泊車影像，而小鵬完全不用管，因為它有另外一套泊車環(huán)視攝像頭。
但總的來講視覺360度覆蓋就為汽車自動駕駛AI 視覺處理提供了基礎。
關于軟件
自動駕駛如果了解其軟件工具鏈主要是操作系統(tǒng)，中間件，應用層等組成。而自動駕駛當前大家差異化的地方就是AI 算法模型以及應用。
視覺主導，肯定是基于攝像頭的圖片處理軟件技術，當前的AI算法主要一個重要的應用就是目標物識別，行為預測。拿特斯拉來講其采用CNN用來識別目標，RNN用來不斷根據(jù)運動學狀態(tài)以及感知結果更新這個地圖和環(huán)境，帶有時域特征。這兩個詞聽起來挺高深哈，但是其實也不是什么新技術，我們手機里面都用過。
CNN 提取特征信息-例如識別人臉然后戴上各種裝飾，他第一步需要識別你的人頭在哪里，你的頭，鼻子然后確定好了位置才能進行各種裝飾，自動駕駛中同樣用來識別路面上車輛，行人，自行車，路牌等等。
RNN-具有一種自然的方式來獲取圖像（即視頻）的時間序列并產生最先進的時間預測結果，所以他可以利用上下文信息來預測未來運動例如我們常用的靜態(tài)動圖。
展開 
自動駕駛視覺感知方案的相關專題、標簽、搜索
自動駕駛視覺感知方案的最新內容
該合作使OEM廠商和一級供應商能夠可靠地評估和驗證 ADAS/AV 功能在各種天氣和照明條件下的性能
主要亮點
Ansys AVxcelerate Sensors?自動駕駛汽車（AV）傳感器仿真軟件，可實現(xiàn)面向基于場景的感知測試的實時多光譜攝像頭仿真
利用AVxcelerate Sensors和索尼的高動態(tài)范圍（HDR）圖像傳感器模型，OEM廠商可以測試高級駕駛輔助系統(tǒng)（ADAS
隨著自動駕駛算法等級的不斷提高，各開發(fā)商的傳感器布置方案也越來越豐富，最典型的為多V、多R及多L的方案。而在對多種類，多數(shù)量的傳感器進行物理模型仿真時，會占用大量的計算資源和網絡通訊資源，同時仿真的效果還受到PCIe總線帶寬及顯卡的接口數(shù)量限制。
基于VTD的多物理傳感器自動駕駛系統(tǒng)仿真方案，采用VTD的主從機布置方式，將VTD軟件安裝在主機Master上，從機slave上只安裝運行
隨著智能駕駛技術的普遍應用，智能駕駛相關的測試測量方法也隨之發(fā)展。特別是模擬仿真測試領域，在智能駕駛產品開發(fā)過程中的應用越來越廣泛。而無論是自動駕駛（AD）還是高級輔助駕駛系統(tǒng)（ADAS），都是依靠高精度攝像頭、毫米波雷達、激光雷達等感知傳感器對車輛周邊環(huán)境進行感知識別來實現(xiàn)的。那么在自動駕駛系統(tǒng)模擬仿真測試實施過程中，系統(tǒng)中感知傳感器是如何進行實物仿真測試驗證的呢。
本文對自動駕駛系統(tǒng)中感知傳感器實物仿真測試環(huán)境構建的原理及其相關方案進行介紹
近年來，“安全”被普遍認為是智能駕駛汽車被用戶接受或者得到商業(yè)應用最大的問題，ISO26262功能安全旨在避免由E/E系統(tǒng)功能失效導致的不可接受的風險，主要是針對系統(tǒng)性失效/隨機硬件失效導致的風險進行分析和控制，然而傳感器和感知算法(e.g. machine learning, neural networks) ，在沒有出現(xiàn)電子電器系統(tǒng)失效時，由于設計的局限性也會導致風險，但此部分并不屬于
在自動駕駛技術發(fā)展中，V2X仿真作為車路協(xié)同的必不可少的一環(huán)，其重要性得到越來越多的關注。 V2X仿真不僅僅需要在通信層面進行仿真測試，更需要在復雜的交通環(huán)境中測試。而在V2X的整個行業(yè)中，不同的角色所關注和測試的數(shù)據(jù)連和功況也不同?；ㄖ圃焐?，電信運營商，OBU制造商，算法提供商所考慮的點側重不同。 本期直播內容重點將聚集在交通，重在梳理不同需求下仿真的實現(xiàn)方式套路，及其局限性。包括使用Opti
Ansys與OneSky合作提供多域任務仿真，以開發(fā)和訓練支持AAM的AI感知和決策軟件
主要亮點
OneSky將其航空領域專業(yè)知識和技術與Ansys解決方案相集成，幫助雙方客戶創(chuàng)建基于
現(xiàn)在自動駕駛車輛傳感器的布置五花八門，各家有各家的方案。
那假設我有一個傳感器配置的車輛，我現(xiàn)在去采集了很多感知場景的數(shù)據(jù)，
這些數(shù)據(jù)這樣能變現(xiàn)呢？是否有公司需要數(shù)據(jù)來訓練算法呢？我的傳感器布局可能和需求方的不一樣，那我的數(shù)據(jù)他可以用來訓練他的算法嗎？
基于現(xiàn)有成像設備，機器視覺之算法視覺實現(xiàn)完全自動駕駛，是一件不可能的事，邏輯：空間景物投影在圖像傳感器上生成平面顏色點陣，是失真不可靠的數(shù)據(jù)，算法再完美，數(shù)據(jù)不可靠，結果自然不可靠?？臻g視覺技術重塑了成像設備結構和控制方法，使其獲得完整 一 一對標的數(shù)據(jù)鏈，生成3維坐標顏色點陣，連續(xù)坐標點陣即景物輪廓，空間視覺技術重新定義的相機，使其完成從生成相片到生成場景的進化，場景實現(xiàn)數(shù)字孿生到平行空間飛越，
來源 | 自動駕駛干貨鋪、智車科技
導讀：多模態(tài)融合是感知自動駕駛系統(tǒng)的重要任務。本文將詳細闡述基于多模態(tài)的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數(shù)據(jù)級、特征級、對象級、不對稱融合對現(xiàn)有的方案進行分類。此外，本文提出了本領域的挑戰(zhàn)性問題并就潛在的研究機會進行開放式討論。
多模態(tài)融合感知的背景
簡介
多模態(tài)融合是感知自動駕駛系統(tǒng)的重要任務。本文將詳細闡述基于多模態(tài)的自動駕駛感知方法。包括LiDAR 和相機在內的解決對象檢測和語義分割任務。
從融合階段的角度，從數(shù)據(jù)級、特征級、對象級、不對稱融合對現(xiàn)有的方案進行分類。此外，本文提出了本領域的挑戰(zhàn)性問題并就潛在的研究機會進行開放式討論。
多模態(tài)融合感知的背景
單模態(tài)數(shù)據(jù)的感知存在固有的缺陷，相機數(shù)據(jù)主要在前視圖的較低位置捕獲
