純視覺自動(dòng)駕駛
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2022-02-22
純視覺自動(dòng)駕駛的視頻教程
自動(dòng)駕駛汽車計(jì)算機(jī)視覺與深度學(xué)習(xí)算法的硬件實(shí)現(xiàn)
自動(dòng)駕駛汽車計(jì)算機(jī)視覺與深度學(xué)習(xí)算法的硬件實(shí)現(xiàn)
免費(fèi) 41分鐘 145播放
查看
純視覺自動(dòng)駕駛的實(shí)例教程
雖然還是要把自動(dòng)駕駛作為宣傳手段和增值盈利的方法，但是打死也不說責(zé)任由自己來承擔(dān)。這就是為什么現(xiàn)在都在打擦邊球，堅(jiān)決不說自己的系統(tǒng)是L3，而只是無限接近L3的原因。
自動(dòng)駕駛系統(tǒng)的架構(gòu)大致如下所示。分為感知、決策和控制（或執(zhí)行）。其中感知部分是決定所謂自動(dòng)駕駛路線的關(guān)鍵因素，相當(dāng)于人類的五官，來獲取外部的信息。決策部分可以類比為人類的大腦，用來進(jìn)行判斷，決定對(duì)車輛如何進(jìn)行控制。而控制（執(zhí)行）部分可以想象為人類的四肢——控制車輛的速度和轉(zhuǎn)向，也就是橫向和縱向的運(yùn)動(dòng)。
長期以來，對(duì)于自動(dòng)駕駛的技術(shù)路線有多種思路。以特斯拉為首的一派覺得純視覺就足夠了。因?yàn)槿祟愰_車的時(shí)候主要靠的還是視覺（眼睛）來感知環(huán)境信息。其他派別的人有的覺得視覺加上毫米波雷達(dá)就夠了，有的覺得視覺之外還需要毫米波加上激光雷達(dá)。總之，在現(xiàn)在已知的感知系統(tǒng)中，一共只有攝像頭、毫米波雷達(dá)、激光雷達(dá)，以及傳統(tǒng)的超聲波雷達(dá)，但是超聲波雷達(dá)僅適用于近距離的感知（米級(jí)），可以用于泊車場景中，最常見的用途就是倒車，所以又被稱之為倒車?yán)走_(dá)。
下圖是一個(gè)自動(dòng)駕駛的感知系統(tǒng)的方案，集合了所有上述的幾種感知設(shè)備，可以說是武裝到了牙齒。
無論如何，視覺系統(tǒng)已經(jīng)成為了自動(dòng)駕駛的重要組成部分。然而，純靠視覺靠譜嗎？在回答這個(gè)問題之前，我們先來看看人眼的“技術(shù)參數(shù)”。
展開 不知道是不是為了“救市”，3月9日，蔚來在北京亦莊舉行了ES8用戶見面會(huì)，蔚來CEO 李斌、總裁秦力洪、自動(dòng)駕駛副總裁 Jamie Carlson 、NIO US & Global CIO Ganesh V. Iyer、AI 算法副總裁 Chris Pouliot 、無人駕駛部中國智能駕駛總監(jiān)章健勇、以及蔚來北京總經(jīng)理蒲洋等悉數(shù)到場，向大家分享了當(dāng)今的自動(dòng)駕駛技術(shù)的內(nèi)容以及蔚來取得的進(jìn)展和計(jì)劃。
蔚來自動(dòng)駕駛團(tuán)隊(duì)
Jamie Carlson 曾是特斯拉Autopilot的創(chuàng)始工程師之一，后加入蘋果自動(dòng)駕駛項(xiàng)目組，如今作為蔚來全球自動(dòng)駕駛副總裁，專注于蔚來自動(dòng)駕駛技術(shù)、NIO Pilot和4級(jí)自動(dòng)駕駛項(xiàng)目的研發(fā)。
蔚來自動(dòng)駕駛研發(fā)中心分布在中國上海和美國圣何塞，匯集全球三百多名頂尖的自動(dòng)駕駛工程師，致力于開展環(huán)境感知、數(shù)據(jù)融合、路徑規(guī)劃、車輛控制、人工智能、車聯(lián)網(wǎng)等技術(shù)專項(xiàng)研究。
自動(dòng)駕駛級(jí)別及NIO Pilot的愿景
特斯拉的Autopilot可以將ACC自適應(yīng)巡航、車道保持、AEB自動(dòng)剎車等功能融合在了一起，并且能夠無縫切換。
展開 基于現(xiàn)有成像設(shè)備，機(jī)器視覺之算法視覺實(shí)現(xiàn)完全自動(dòng)駕駛，是一件不可能的事，邏輯：空間景物投影在圖像傳感器上生成平面顏色點(diǎn)陣，是失真不可靠的數(shù)據(jù)，算法再完美，數(shù)據(jù)不可靠，結(jié)果自然不可靠。空間視覺技術(shù)重塑了成像設(shè)備結(jié)構(gòu)和控制方法，使其獲得完整 一 一對(duì)標(biāo)的數(shù)據(jù)鏈，生成3維坐標(biāo)顏色點(diǎn)陣，連續(xù)坐標(biāo)點(diǎn)陣即景物輪廓，空間視覺技術(shù)重新定義的相機(jī)，使其完成從生成相片到生成場景的進(jìn)化，場景實(shí)現(xiàn)數(shù)字孿生到平行空間飛越，實(shí)現(xiàn)方法從計(jì)算模擬變成實(shí)時(shí)映射。
來源 | 汽車ECU開發(fā)
如今，自動(dòng)駕駛的立體視覺變得越來越流行。計(jì)算機(jī)視覺領(lǐng)域在過去十年中發(fā)展迅猛，尤其是基于深度學(xué)習(xí)的障礙物檢測和計(jì)算機(jī)視覺領(lǐng)域。
YOLO 或 RetinaNet 等障礙物檢測算法提供 2D 邊界框，使用邊界框給出圖像中障礙物的位置。今天，大多數(shù)物體檢測算法都是基于單目RGB相機(jī)，無法返回每個(gè)障礙物的距離。
為了返回每個(gè)障礙物的距離，工程師們將相機(jī)與激光雷達(dá)(光探測和測距)傳感器融合，利用激光返回深度信息和傳感器融合技術(shù)融合計(jì)算機(jī)視覺和激光雷達(dá)的輸出。
這種方法的問題是使用了昂貴的激光雷達(dá)。工程師巧妙地利用對(duì)齊兩個(gè)攝像頭并使用幾何形狀來定義每個(gè)障礙物的距離：我們稱之為偽激光雷達(dá)。
圖1 單眼與立體視覺
偽激光雷達(dá)利用幾何圖形來構(gòu)建深度地圖，并將其與目標(biāo)檢測相結(jié)合，以獲得三維距離。
實(shí)現(xiàn)深度估計(jì)的五個(gè)步驟：
通過兩個(gè)攝像頭，我們可以獲得物體的距離。這是三角測量的原理，也是立體視覺背后的核心幾何。下面是它的工作原理:
1、立體校準(zhǔn)-檢索相機(jī)的關(guān)鍵參數(shù)；
2、對(duì)極幾何-定義我們設(shè)置的三維幾何；
3、視差圖- 計(jì)算視差圖；
4、深度貼圖- 計(jì)算深度貼圖；
5、障礙物距離估計(jì)- 在 3D 中查找對(duì)象，并與深度圖匹配。
在本文中，我們將學(xué)習(xí)如何執(zhí)行這 5 個(gè)步驟來構(gòu)建 3D 對(duì)象檢測算法，目標(biāo)是對(duì)于每個(gè)對(duì)象，我們可以估計(jì) X、Y、Z 位置。
01.立體校準(zhǔn)—內(nèi)部和外部校準(zhǔn)
當(dāng)你在網(wǎng)上看任何圖片時(shí)，很可能相機(jī)已經(jīng)被校準(zhǔn)過了。每個(gè)相機(jī)都需要校準(zhǔn)。
展開 這里我們采用的例子是Tesla在2021年的AI Day上展示了一個(gè)純視覺的FSD（Full Self Driving）系統(tǒng)。雖然說只能算是L2級(jí)別（駕駛員必須做好隨時(shí)接管車輛的準(zhǔn)備），但如果只是橫向?qū)Ρ萀2級(jí)的自動(dòng)駕駛系統(tǒng)，F(xiàn)SD的表現(xiàn)還是不錯(cuò)的。此外，這個(gè)純視覺的方案集成了近年來深度學(xué)習(xí)領(lǐng)域的很多成功經(jīng)驗(yàn)，在多攝像頭融合方面很有特點(diǎn)，個(gè)人覺得至少在技術(shù)方面還是值得研究一下。
Tesla FSD系統(tǒng)的多攝像頭配置
這里再稍微跑個(gè)題，說一下Tesla AI和Vision方向的負(fù)責(zé)人，Andrej Karpathy。這位小哥1986年出生，2015年在斯坦福大學(xué)獲得博士學(xué)位，師從計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)界的大牛李飛飛教授，研究方向是自然語言處理和計(jì)算機(jī)視覺的交叉任務(wù)以及深度神經(jīng)網(wǎng)絡(luò)在其中的應(yīng)用。馬斯克2016年將這位青年才俊召入麾下，之后讓其負(fù)責(zé)Tesla的AI部門，是FSD這個(gè)純視覺系統(tǒng)在算法方面的總設(shè)計(jì)師。
Andrej在AI Day上的報(bào)告中首先提到，五年前Tesla的視覺系統(tǒng)是先獲得單張圖像上的檢測結(jié)果，然后將其映射到向量空間（Vector Space）。這個(gè)“向量空間”是報(bào)告中的核心概念之一，我理解其實(shí)它就是環(huán)境中的各種目標(biāo)在世界坐標(biāo)系中的表示空間。比如對(duì)于物體檢測任務(wù)，目標(biāo)在3D空間中的位置，大小，朝向，速度等描述特性組成了一個(gè)向量，所有目標(biāo)的描述向量組成的空間就是向量空間。
視覺感知系統(tǒng)的任務(wù)
就是將圖像空間中的信息轉(zhuǎn)化為向量空間中的信息。
展開 
純視覺自動(dòng)駕駛的相關(guān)專題、標(biāo)簽、搜索
純視覺自動(dòng)駕駛視覺自動(dòng)駕駛自動(dòng)駕駛視覺定位自動(dòng)駕駛多目視覺感知自動(dòng)駕駛視覺感知方案自動(dòng)駕駛 自動(dòng)駕駛 汽車動(dòng)力自動(dòng)駕駛汽車動(dòng)力自動(dòng)駕駛仿真優(yōu)化芯片自動(dòng)駕駛仿真優(yōu)化芯片自動(dòng)駕駛線控底盤是自動(dòng)駕駛的必要條件，自動(dòng)駕駛是線控底盤的充分條件仿真優(yōu)化芯片自動(dòng)駕駛仿真優(yōu)化芯片自動(dòng)駕駛仿真優(yōu)化芯自動(dòng)駕駛自動(dòng)駕駛數(shù)據(jù)集自動(dòng)標(biāo)注
純視覺自動(dòng)駕駛的最新內(nèi)容
基于現(xiàn)有成像設(shè)備，機(jī)器視覺之算法視覺實(shí)現(xiàn)完全自動(dòng)駕駛，是一件不可能的事，邏輯：空間景物投影在圖像傳感器上生成平面顏色點(diǎn)陣，是失真不可靠的數(shù)據(jù)，算法再完美，數(shù)據(jù)不可靠，結(jié)果自然不可靠。空間視覺技術(shù)重塑了成像設(shè)備結(jié)構(gòu)和控制方法，使其獲得完整 一 一對(duì)標(biāo)的數(shù)據(jù)鏈，生成3維坐標(biāo)顏色點(diǎn)陣，連續(xù)坐標(biāo)點(diǎn)陣即景物輪廓，空間視覺技術(shù)重新定義的相機(jī)，使其完成從生成相片到生成場景的進(jìn)化，場景實(shí)現(xiàn)數(shù)字孿生到平行空間飛越，
摘要
近年來,基于深度學(xué)習(xí)的視覺感知技術(shù)的發(fā)展極大地促進(jìn)了車聯(lián)網(wǎng)領(lǐng)域中自動(dòng)駕駛的繁榮,然而自動(dòng)駕駛系統(tǒng)的安全問題頻出引發(fā)了人們對(duì)自動(dòng)駕駛未來的擔(dān)憂．由于深度學(xué)習(xí)系統(tǒng)的行為缺乏可解釋性,測試基于深度學(xué)習(xí)的自動(dòng)駕駛系統(tǒng)的安全性極具挑戰(zhàn)性．目前已有針對(duì)自動(dòng)駕駛場景的安全性測試工作被提出,但這些方法在測試場景生成
主流廠商車載攝像頭搭載方案
從方案中我們可以看到，特斯拉的 8 個(gè)攝像頭均與行車系統(tǒng)有關(guān)聯(lián)，這與其一直宣傳的不依靠激光雷達(dá)純視覺的自動(dòng)駕駛方案是有較大關(guān)聯(lián)的，特斯拉的這一套方案的最大優(yōu)勢就是：高性價(jià)比。特斯拉用了成本非常低的自研 1.2MP 攝像機(jī)就實(shí)現(xiàn)了 L2+ 級(jí)別的自動(dòng)駕駛。
小鵬在自動(dòng)駕駛方面，賺夠了眼球，也贏得了智能汽車的口號(hào)，從其小鵬P7對(duì)于泊車功能，記憶泊車以及分享停車路線各方面的一些應(yīng)用創(chuàng)新，到現(xiàn)在P5基本上算市場上真的買得到帶激光雷達(dá)，而且P5可以升級(jí)多層記憶泊車，未來還以升級(jí)城市NGP可謂立好了自動(dòng)駕駛標(biāo)桿的flage，讓人不自覺豎起大拇指。
另外其實(shí)特斯拉算是視覺AI主導(dǎo)應(yīng)用在自動(dòng)駕駛的主機(jī)廠發(fā)起者，當(dāng)然如果深究供應(yīng)商可能還是
來源 |
巫婆塔里的工程師@知乎
1 前言
從輸出維度的角度來看，基于視覺傳感器的感知方法可以分為
2D感知和3D感知兩種
。專欄之前的文章也分別對(duì)這兩種感知任務(wù)做了詳細(xì)的介紹。
視覺傳感器：2D感知算法
從傳感器的數(shù)量上看，視覺感知系統(tǒng)也分為單目系統(tǒng)，雙目系統(tǒng)，以及多目系統(tǒng)
來源 | 汽車ECU開發(fā)
如今，自動(dòng)駕駛的立體視覺變得越來越流行。計(jì)算機(jī)視覺領(lǐng)域在過去十年中發(fā)展迅猛，尤其是基于深度學(xué)習(xí)的障礙物檢測和計(jì)算機(jī)視覺領(lǐng)域。
YOLO 或 RetinaNet 等障礙物檢測算法提供 2D 邊界框，使用邊界框給出圖像中障礙物的位置。今天，大多數(shù)物體檢測算法都是基于單目RGB相機(jī)，無法返回每個(gè)障礙物的距離。
為了返回每個(gè)障礙物的距離，
來源 |
黃浴@知乎
arXiv在2021年11月16日上傳論文“GRI: General Reinforced Imitation and its Application to Vision-Based Autonomous Driving“，作者來自法國Valeo公司和MINES ParisTech大學(xué)。
來源 |
AI修煉之路
介紹
三維目標(biāo)檢測是自動(dòng)駕駛和虛擬現(xiàn)實(shí)中重要的場景理解任務(wù)。考慮到激光雷達(dá)成本昂貴，本文提出一個(gè)基于立體視覺的3D目標(biāo)檢測方法。針對(duì)目標(biāo)深度估計(jì)是影響三維目標(biāo)檢測性能的關(guān)鍵因素，提出了一種基于「實(shí)例深度感知」、「視差自適應(yīng)」和「匹配代價(jià)調(diào)整」的三維包圍盒中心深度預(yù)測模塊。此外，我們的模型是一個(gè)「端到端」的學(xué)習(xí)框架，不需要多個(gè)階段或后處理算法
作者 |
Aimee
出品 |
焉知
當(dāng)前，主流的自動(dòng)駕駛Tier1和主機(jī)廠都趨向于設(shè)計(jì)更加先進(jìn)的傳感器架構(gòu)將傳感器的探測能力提升到最大值。
其中，不乏有類似特斯拉、小鵬這樣趨向于推進(jìn)視覺感知架構(gòu)設(shè)計(jì)的主機(jī)廠，也不乏有類似博世、大陸這類傳統(tǒng)趨向于推進(jìn)雷達(dá)感知為主的供應(yīng)商。也有在傳感器架構(gòu)中趨向于設(shè)計(jì)全傳感冗余方案的主機(jī)廠，如蔚來、waymo
來源 | 點(diǎn)云PCL
導(dǎo)讀：雙目立體視覺（Binocular Stereo Vision）是機(jī)器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來獲取物體三維幾何信息的方法。
偽激光雷達(dá)
