自動駕駛視覺感知方案的案例
自動駕駛多目視覺感知
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對這兩種感知任務(wù)做了詳細(xì)的介紹。
視覺傳感器：2D感知算法
從傳感器的數(shù)量上看，視覺感知系統(tǒng)也分為單目系統(tǒng)，雙目系統(tǒng)，以及多目系統(tǒng)。2D感知任務(wù)通常采用的是單目系統(tǒng)，這也是計算機視覺和深度學(xué)習(xí)結(jié)合最緊密的領(lǐng)域。但是自動駕駛感知最終需要的是3D輸出，因此我們需要將2D的信息推廣到3D。
在
深度學(xué)習(xí)取得成功之前，通常的做法是根據(jù)目標(biāo)的先驗大小以及目標(biāo)處于地平面上等假設(shè)來推斷目標(biāo)的深度（距離），或者采用運動信息進(jìn)行深度估計（Motion Stereo）。有了深度學(xué)習(xí)的助力之后，從大數(shù)據(jù)集中學(xué)習(xí)場景線索，并進(jìn)行單目深度估計成為了可行的方案。但是這種方案非常依賴于模式識別，而且很難處理數(shù)據(jù)集之外的場景（Corner Case）。比如施工路段的特殊工程車輛，由于數(shù)據(jù)庫中很少出現(xiàn)或者根本沒有此類樣本，視覺傳感器無法準(zhǔn)確檢測該目標(biāo)，因而也就無法判斷其距離。
雙目系統(tǒng)可以自然的獲得視差，從而估計障礙物的距離。
這種系統(tǒng)對模式識別的依賴度較小，只要能在目標(biāo)上獲得穩(wěn)定的關(guān)鍵點，就可以完成匹配，計算視差并估計距離。
但是，雙目系統(tǒng)也有以下缺點。
首先，如果關(guān)鍵點無法獲取，比如在自動駕駛中經(jīng)常引發(fā)事故的白色大貨車，如果其橫在路中央，視覺傳感器在有限的視野中很難捕捉關(guān)鍵點，距離的測算就會失敗。
其次，雙目視覺系統(tǒng)對攝像頭之間的標(biāo)定要求非常高，一般來說都需要有非常精確的在線標(biāo)定功能。
展開 自動駕駛的視覺感知包括哪些內(nèi)容？
來源 |
CV研習(xí)社、計算機視覺life
知圈
|
進(jìn)“域控制器群”請加微13636581676,備注
域
本文針對自動駕駛行業(yè)的視覺感知做簡要介紹，從傳感器端的對比，到數(shù)據(jù)的采集標(biāo)注，進(jìn)而對感知算法進(jìn)行分析，給出各個模塊的難點和解決方案，最后介紹感知模塊的主流框架設(shè)計。
目錄
傳感器組件
相機標(biāo)定
數(shù)據(jù)標(biāo)注
功能劃分
共性問題
模塊架構(gòu)
視覺感知系統(tǒng)主要以攝像頭作為傳感器輸入，經(jīng)過一系列的計算和處理，對自車周圍的環(huán)境信息做精確感知。目的在于為融合模塊提供準(zhǔn)確豐富的信息，包括被檢測物體的類別、距離信息、速度信息、朝向信息，同時也能夠給出抽象層面的語義信息。所以道路交通的感知功能主要包括以下三個方面：
動態(tài)目標(biāo)檢測（車輛、行人和非機動車）
靜態(tài)物體識別（交通標(biāo)志和紅綠燈）
可行駛區(qū)域的分割（道路區(qū)域和車道線）
這三類任務(wù)如果通過一個深度神經(jīng)網(wǎng)絡(luò)的前向傳播完成，不僅可以提高系統(tǒng)的檢測速度，減少計算參數(shù)，而且可以通過增加主干網(wǎng)絡(luò)的層數(shù)的方式提高檢測和分割精度。
展開 自動駕駛系統(tǒng)中視覺感知模塊的安全測試
車聯(lián)網(wǎng)領(lǐng)域隨著物聯(lián)網(wǎng)與交通運輸領(lǐng)域的深度融合蓬勃發(fā)展．隨著深度學(xué)習(xí)的進(jìn)步,車聯(lián)網(wǎng)領(lǐng)域的自動駕駛技術(shù)得到了突破性的發(fā)展,并有演化成一場新的汽車工業(yè)革命的趨勢．無論是特斯拉、蔚來等新型車企,還是福特、寶馬等傳統(tǒng)車企都陸續(xù)拿到了自動駕駛路測牌照,著眼于研發(fā)深度自動駕駛技術(shù)．迅猛發(fā)展的深度自動駕駛技術(shù)正逐漸成為車聯(lián)網(wǎng)領(lǐng)域的主要支撐技術(shù)之一,正在改變未來的交通和出行方式．
視覺感知模塊是自動駕駛進(jìn)行環(huán)境感知的重要組件,也是車輛進(jìn)行智能決策的重要基礎(chǔ)．自動駕駛領(lǐng)域的重要企業(yè)特斯拉更是將視覺感知模塊作為其駕駛系統(tǒng)的唯一環(huán)境感知模塊．因此,自動駕駛系統(tǒng)視覺感知模塊的安全性是自動駕駛系統(tǒng)正常工作的關(guān)鍵．雖然視覺感知模塊的表現(xiàn)隨著深度視覺技術(shù)的發(fā)展穩(wěn)步提升,但是其從駕駛環(huán)境中感知到的特征語義難被理解、決策過程無法解釋．如何對自動駕駛系統(tǒng)視覺感知模塊的安全性進(jìn)行充分測試,已經(jīng)成為了一個迫在眉睫、亟待解決的問題．
誠然,圍繞深度學(xué)習(xí)可解釋性方面的工作有了一定的突破,但是距離分析清楚自動駕駛視覺感知模塊的錯誤傳導(dǎo)機理還有較遠(yuǎn)的距離．近年來,神經(jīng)網(wǎng)絡(luò)的黑盒攻擊方法的進(jìn)步,啟發(fā)大家提出了一些基于場景搜索的自動駕駛視覺感知模塊安全性測試技術(shù)．這些場景驅(qū)動的測試方法利用黑盒測試的思路,為駕駛系統(tǒng)提供盡可能多的駕駛場景數(shù)據(jù),觀察自動駕駛系統(tǒng)的輸出與測試預(yù)言(TestOracle)之間的差異,進(jìn)而分析自動駕駛系統(tǒng)視覺感知模塊的安全性．
展開 為何全視覺方案無法實現(xiàn)真正的自動駕駛
總結(jié)
從如上表的總結(jié)中不難看出，對于激光雷達(dá)所能解決的自動駕駛邊緣場景是不言而喻的，純視覺派的特斯拉方案在未來自動駕駛設(shè)計過程中是無法保證其性能和效果的。相應(yīng)的提升方案肯定是結(jié)合視覺的雷達(dá)融合方案。
當(dāng)然本章重點還是介紹了毫米波雷達(dá)的感知原理及性能，未來如果是大域控方案的實施策略時，難免不會考慮利用毫米波輸入的原始點云數(shù)據(jù)進(jìn)行綜合處理。這一過程類似于激光雷達(dá)的點云處理，這又涉及多方面的因素。如傳輸帶寬，點云建模模型以及域控制器綜合處理算法。在縱向感知方面，毫米波最強；橫向方面，激光最強。豐田和本田的方案，都是激光作為獨立感知，結(jié)果再跟攝像頭融合，最后得出最終目標(biāo)。
展開 
視覺為王-小鵬以及特斯拉的自動駕駛方案
視覺方案對于環(huán)境感知的目的是360度覆蓋，同時注意側(cè)重點，例如前視顯然需要長距離。下面為小鵬和特斯拉視覺FOV圖。
特斯拉和小鵬的前視FOV基本一樣，拋開視覺距離不一樣，當(dāng)然從圖上看特斯拉的前視要遠(yuǎn)些，但向后的視覺FOV有些差異，可能為兩家的方案差異點。
小鵬的尾部攝像頭視線長，但窄，而特斯拉采用兩個側(cè)向攝像頭覆蓋后視場景，而尾部攝像頭視線短，但寬。這里可以看出特斯拉的尾部攝像頭主要是用作倒車或者泊車影像，而小鵬完全不用管，因為它有另外一套泊車環(huán)視攝像頭。
但總的來講視覺360度覆蓋就為汽車自動駕駛AI 視覺處理提供了基礎(chǔ)。
關(guān)于軟件
自動駕駛如果了解其軟件工具鏈主要是操作系統(tǒng)，中間件，應(yīng)用層等組成。而自動駕駛當(dāng)前大家差異化的地方就是AI 算法模型以及應(yīng)用。
視覺主導(dǎo)，肯定是基于攝像頭的圖片處理軟件技術(shù)，當(dāng)前的AI算法主要一個重要的應(yīng)用就是目標(biāo)物識別，行為預(yù)測。拿特斯拉來講其采用CNN用來識別目標(biāo)，RNN用來不斷根據(jù)運動學(xué)狀態(tài)以及感知結(jié)果更新這個地圖和環(huán)境，帶有時域特征。這兩個詞聽起來挺高深哈，但是其實也不是什么新技術(shù)，我們手機里面都用過。
CNN 提取特征信息-例如識別人臉然后戴上各種裝飾，他第一步需要識別你的人頭在哪里，你的頭，鼻子然后確定好了位置才能進(jìn)行各種裝飾，自動駕駛中同樣用來識別路面上車輛，行人，自行車，路牌等等。
RNN-具有一種自然的方式來獲取圖像（即視頻）的時間序列并產(chǎn)生最先進(jìn)的時間預(yù)測結(jié)果，所以他可以利用上下文信息來預(yù)測未來運動例如我們常用的靜態(tài)動圖。
展開 為何全視覺方案無法實現(xiàn)真正的自動駕駛
先進(jìn)的激光
雷達(dá)對感知的提升策略
激光雷達(dá)在高性能智能駕駛中的探測優(yōu)勢已經(jīng)在很多方面得到證實，原因是因為其通過建立數(shù)量較多的點云數(shù)據(jù)可以通過聚類實現(xiàn)很好的場景重建。從智能駕駛的角度上說可以通過激光雷達(dá)解決如下一些極端場景：
總結(jié)
從如上表的總結(jié)中不難看出，對于激光雷達(dá)所能解決的自動駕駛邊緣場景是不言而喻的，純視覺派的特斯拉方案在未來自動駕駛設(shè)計過程中是無法保證其性能和效果的。相應(yīng)的提升方案肯定是結(jié)合視覺的雷達(dá)融合方案。
當(dāng)然本章重點還是介紹了毫米波雷達(dá)的感知原理及性能，未來如果是大域控方案的實施策略時，難免不會考慮利用毫米波輸入的原始點云數(shù)據(jù)進(jìn)行綜合處理。這一過程類似于激光雷達(dá)的點云處理，這又涉及多方面的因素。如傳輸帶寬，點云建模模型以及域控制器綜合處理算法。在縱向感知方面，毫米波最強；橫向方面，激光最強。豐田和本田的方案，都是激光作為獨立感知，結(jié)果再跟攝像頭融合，最后得出最終目標(biāo)。
展開 客戶案例 | Ansys與索尼半導(dǎo)體解決方案公司合作推進(jìn)自動駕駛汽車基于場景的感知測試
仿真模型使用戶能夠利用預(yù)定義輸入或?qū)崟r反饋，對基于索尼HDR成像器的感知系統(tǒng)進(jìn)行可靠的、基于場景的測試，從而提高ADAS和AV應(yīng)用的準(zhǔn)確性、可靠性和安全性。
為了最大限度地減少道路測試，協(xié)同仿真會將圖像輸入到先進(jìn)的片上軟件感知系統(tǒng)中。與此同時，仿真環(huán)境中還集成了用于控制發(fā)動機管理和變速箱等功能的電子控制單元，以測試其性能。這種方法可確保從傳感器到處理芯片的整個仿真流程準(zhǔn)確可靠。
索尼半導(dǎo)體解決方案公司汽車業(yè)務(wù)部總經(jīng)理Tomoki Seita表示：“完全自動駕駛的實現(xiàn)，需要依靠OEM廠商與Ansys等領(lǐng)先的技術(shù)提供商合作，以提高用于驗證自動駕駛系統(tǒng)的集成工具的準(zhǔn)確性。通過此次合作，客戶可以使用高度可重現(xiàn)、高預(yù)測準(zhǔn)確性的仿真，充滿信心地對其系統(tǒng)進(jìn)行驗證。這尤其有利于OEM廠商和一級供應(yīng)商，他們可以運行實際攝像頭仿真來驗證識別算法和車輛控制軟件。”
此外，AVxcelerate平臺與許多客戶特定的仿真工具鏈兼容，包括開源仿真器或其他商業(yè)仿真器，其具有高度可擴展性，并支持云端使用，以提高算力和廣泛的可訪問性。該工作流程使設(shè)計人員能夠生成逼真的圖像，以便在組裝傳感器之前評估性能，或生成大規(guī)模的虛擬訓(xùn)練數(shù)據(jù)集。
Ansys產(chǎn)品高級副總裁Shane Emswiler表示：“滿足安全合規(guī)性是我們OEM廠商客戶的首要任務(wù)，但由于需要測試的場景數(shù)量眾多，實現(xiàn)這一目標(biāo)十分困難。Ansys提供一系列多物理場仿真解決方案，以提高自動駕駛汽車的安全性和可靠性，同時加速研發(fā)流程。利用AVxcelerate Sensors，用戶可以在高保真度虛擬環(huán)境中復(fù)現(xiàn)道路決策，這可以提高預(yù)測準(zhǔn)確性，并改變企業(yè)設(shè)計和測試自動駕駛汽車的方式。”
展開 自動駕駛行業(yè)觀察 | 自動駕駛多模態(tài)融合感知詳解（研究現(xiàn)狀及挑戰(zhàn)）
文章來源：自動駕駛干貨鋪
空間視覺技術(shù)接替算法視覺推動實現(xiàn)完全自動駕駛
基于現(xiàn)有成像設(shè)備，機器視覺之算法視覺實現(xiàn)完全自動駕駛，是一件不可能的事，邏輯：空間景物投影在圖像傳感器上生成平面顏色點陣，是失真不可靠的數(shù)據(jù)，算法再完美，數(shù)據(jù)不可靠，結(jié)果自然不可靠。空間視覺技術(shù)重塑了成像設(shè)備結(jié)構(gòu)和控制方法，使其獲得完整 一 一對標(biāo)的數(shù)據(jù)鏈，生成3維坐標(biāo)顏色點陣，連續(xù)坐標(biāo)點陣即景物輪廓，空間視覺技術(shù)重新定義的相機，使其完成從生成相片到生成場景的進(jìn)化，場景實現(xiàn)數(shù)字孿生到平行空間飛越，實現(xiàn)方法從計算模擬變成實時映射。
自動駕駛感知數(shù)據(jù)
現(xiàn)在自動駕駛車輛傳感器的布置五花八門，各家有各家的方案。
那假設(shè)我有一個傳感器配置的車輛，我現(xiàn)在去采集了很多感知場景的數(shù)據(jù)，
這些數(shù)據(jù)這樣能變現(xiàn)呢？是否有公司需要數(shù)據(jù)來訓(xùn)練算法呢？我的傳感器布局可能和需求方的不一樣，那我的數(shù)據(jù)他可以用來訓(xùn)練他的算法嗎？
自動駕駛感知數(shù)據(jù)閉環(huán)簡析
自動駕駛公司大都會選擇自主開發(fā)檢測模型，通過訓(xùn)練標(biāo)注好數(shù)據(jù)的真值圖像，調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，以達(dá)到最優(yōu)的檢測結(jié)果。
圖12. 圖像檢測
圖片來源：Tesla AI Day 2021
物體檢測是最具工程挑戰(zhàn)的部分之一。在車輛高速行駛的過程中，如果錯誤地檢測了某個障礙物體，會導(dǎo)致錯誤的車輛控制，最終可能帶來非常嚴(yán)重的后果。如何快速且準(zhǔn)確地識別障礙物是一項極具挑戰(zhàn)的任務(wù)。
傳統(tǒng)的計算機視覺算法（Harris角點檢測、SIFT算法、SURF算法、ORB算法等）相比于深度學(xué)習(xí)算法，檢測速度慢、準(zhǔn)確率低，很難滿足大多數(shù)場景下自動駕駛的需求。此外，這些傳統(tǒng)的視覺算法都需要對圖像提取特征，換句話說就是，對數(shù)據(jù)在更高、更多的維度上尋找特點，提取特征的過程通常比較復(fù)雜。相比于深度學(xué)習(xí)這種從端到端的算法，傳統(tǒng)的視覺算法難以開發(fā)，不具優(yōu)勢。深度學(xué)習(xí)算法的應(yīng)用，極大地加速了物體檢測領(lǐng)域的發(fā)展，同時，這也對深度學(xué)習(xí)算法廣泛應(yīng)用于自動駕駛技術(shù)，起到了至關(guān)重要的作用。
深度學(xué)習(xí)算法確實有很多優(yōu)點，但同時其輸出結(jié)果是概率分布式的，不能保證檢測的完全準(zhǔn)確性。在今天，這種端到端算法的中間過程仍然是不可解釋的，大家無法解釋為什么輸入一張照片，就會在它的某個區(qū)域內(nèi)檢測到某個物體。而傳統(tǒng)的視覺算法卻具有成熟的理論支撐、透明的中間過程和穩(wěn)定的性能。
筆者比較看好傳統(tǒng)計算機視覺算法和深度學(xué)習(xí)算法兩者結(jié)合，可以充分利用兩種方法的優(yōu)勢。
圖13. Tesla檢測模型框架
圖片來源：Tesla AI Day 2021
自動駕駛公司一般都會花費大量力氣投入到檢測模型的開發(fā)中。
展開 
自動駕駛汽車感知系統(tǒng)關(guān)鍵技術(shù)綜述
公安部道路交通安全研究中心 王藝帆
自動駕駛汽車是汽車電子、智能控制以及互聯(lián)網(wǎng)等技術(shù)發(fā)展融合的產(chǎn)物，其原理為自動駕駛系統(tǒng)利用感知系統(tǒng)，獲取車輛自身以及外界環(huán)境信息，經(jīng)過計算系統(tǒng)分析信息、做出決策，控制執(zhí)行系統(tǒng)實現(xiàn)車輛加速、減速或轉(zhuǎn)向，從而在無需駕駛員介入的情況下，完成自動行駛。2013年，美國國家公路交通安全管理局（NHTSA）根據(jù)輔助控制系統(tǒng)的自動化功能，將自動駕駛技術(shù)分為0~4級，如表1所示。從表1可了解到，自動駕駛的發(fā)展升級是從輔助駕駛到主宰駕駛，從提供單一功能、應(yīng)對簡單場景，到可掌控所有場合，完全解放駕駛人。期間，感知系統(tǒng)需不斷提高獲取周邊環(huán)境信息的全面性、準(zhǔn)確性和高效性，它是自動駕駛的基礎(chǔ)，也是貫穿升級的核心部分。本文將介紹自動駕駛感知系統(tǒng)常用方案，及其各自技術(shù)方法、特點和應(yīng)用情況。
1 系統(tǒng)框架
自動駕駛汽車首先應(yīng)有一套完整的感知系統(tǒng)，代替駕駛人的感知，提供周圍環(huán)境信息；其次應(yīng)有一套集智能算法、高性能硬件于一體的控制系統(tǒng)，代替駕駛人的大腦，制定駕駛指令、規(guī)劃行駛路徑；最后還需一套完善縝密的執(zhí)行系統(tǒng)，可以代替駕駛員的手腳動作，執(zhí)行駕駛指令、控制車輛狀態(tài)。其中，感知系統(tǒng)應(yīng)包括環(huán)境感知、內(nèi)部感知、駕駛人感知。其中內(nèi)部感知主要是通過CAN總線采集車內(nèi)各電子控制單元信息，以及裝載在車上的各類傳感器實時產(chǎn)生的數(shù)據(jù)信息，來獲取車輛狀態(tài)，包括車體（車內(nèi)外溫度、空氣流量、胎壓），動力（油壓、轉(zhuǎn)速、機油），車輛安全（安全帶、氣囊、門窗鎖）等；駕駛人感知是通過人機交互界面或傳感器獲取駕駛人操控、手勢、語音等控制指令，以及面部表情等檢測信息，用來接收控制命令、檢測駕駛人狀態(tài)。本文介紹的感知系統(tǒng)針對環(huán)境感知、自動駕駛感知系統(tǒng)的關(guān)鍵點和難點，其功能是實時獲取周邊物體、行駛路況、導(dǎo)航定位、天氣、停車場等信息。
展開 自動駕駛汽車感知測試
來源 |
智駕社
高階自動駕駛系統(tǒng)的感知模組如何選擇
作者 | Aimme
出品 | 焉知
眾所周知，從分布式架構(gòu)向集中式域控制器架構(gòu)演進(jìn)已經(jīng)成為下一代自動駕駛系統(tǒng)不可逆轉(zhuǎn)的趨勢。對于下一代集中式域控架構(gòu)下到的自動駕駛系統(tǒng)來說，域控制器因為有強大的硬件計算能力與豐富的軟件接口支持，使得更多核心功能模塊集中于域控制器內(nèi)，系統(tǒng)功能集成度大大提高，這樣對于功能的感知與執(zhí)行的硬件要求降低
。但是，
域控制器的出現(xiàn)并不代表底層硬件 ECU 的大規(guī)模消失
，很多 ECU 的功能會被弱化（軟件和處理功能降級，執(zhí)行層面功能保留），大部分傳感器也可以直接傳輸數(shù)據(jù)給域控制器，或把數(shù)據(jù)初步處理后給域控制器，很多復(fù)雜計算都可以在域控制器里完成，甚至大部分控制功能也在域控制器里完成，原有 ECU 很多只需執(zhí)行域控制器的命令，也就是說，外圍零件只關(guān)注本身基本功能，而中央域控制器關(guān)注系統(tǒng)級功能實現(xiàn)。此外，數(shù)據(jù)交互的接口標(biāo)準(zhǔn)化，會讓這些零部件變成標(biāo)準(zhǔn)零件，從而降低這部分零部件開發(fā)/制造成本。
作為自動駕駛之眼的攝像頭尤其是這樣，在L2階段，整個智能駕駛的視覺感知單元一般都是放在被稱之為攝像頭總成的零部件中，這種總成零部件都是包含了
攝像頭模組本身，也包含了處理攝像頭感知的環(huán)境信息的軟件算法模塊
，比如ISP、encode、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)單元等AI算法。然而，在下一代高階自動駕駛系統(tǒng)中，這些原本由攝像頭模組處理的感知能力將會被放到域控制器端的AI芯片進(jìn)行集中式處理。那么，問題來了，對于這類型的自動駕駛系統(tǒng)架構(gòu)模式，攝像頭模組本身的需求將會發(fā)生哪些變化，又會帶來哪些新的需求呢？
本文主要介紹車載攝像頭基礎(chǔ)知識，包含攝像頭模組成像的基本原理、攝像頭類型、攝像頭選型方法、攝像頭安裝方式、攝像頭安裝過程中的常見問題等。
展開 自動駕駛中的立體視覺
來源 | 汽車ECU開發(fā)
如今，自動駕駛的立體視覺變得越來越流行。計算機視覺領(lǐng)域在過去十年中發(fā)展迅猛，尤其是基于深度學(xué)習(xí)的障礙物檢測和計算機視覺領(lǐng)域。
YOLO 或 RetinaNet 等障礙物檢測算法提供 2D 邊界框，使用邊界框給出圖像中障礙物的位置。今天，大多數(shù)物體檢測算法都是基于單目RGB相機，無法返回每個障礙物的距離。
為了返回每個障礙物的距離，工程師們將相機與激光雷達(dá)(光探測和測距)傳感器融合，利用激光返回深度信息和傳感器融合技術(shù)融合計算機視覺和激光雷達(dá)的輸出。
這種方法的問題是使用了昂貴的激光雷達(dá)。工程師巧妙地利用對齊兩個攝像頭并使用幾何形狀來定義每個障礙物的距離：我們稱之為偽激光雷達(dá)。
圖1 單眼與立體視覺
偽激光雷達(dá)利用幾何圖形來構(gòu)建深度地圖，并將其與目標(biāo)檢測相結(jié)合，以獲得三維距離。
實現(xiàn)深度估計的五個步驟：
通過兩個攝像頭，我們可以獲得物體的距離。這是三角測量的原理，也是立體視覺背后的核心幾何。下面是它的工作原理:
1、立體校準(zhǔn)-檢索相機的關(guān)鍵參數(shù)；
2、對極幾何-定義我們設(shè)置的三維幾何；
3、視差圖- 計算視差圖；
4、深度貼圖- 計算深度貼圖；
5、障礙物距離估計- 在 3D 中查找對象，并與深度圖匹配。
在本文中，我們將學(xué)習(xí)如何執(zhí)行這 5 個步驟來構(gòu)建 3D 對象檢測算法，目標(biāo)是對于每個對象，我們可以估計 X、Y、Z 位置。
01.立體校準(zhǔn)—內(nèi)部和外部校準(zhǔn)
當(dāng)你在網(wǎng)上看任何圖片時，很可能相機已經(jīng)被校準(zhǔn)過了。每個相機都需要校準(zhǔn)。
展開 