作者 | Aimee.

出品 | 焉知

知圈 | 進(jìn)“汽車(chē)智能互動(dòng)社群”請(qǐng)加微信13636581676，備注交互

當(dāng)前量產(chǎn)的自動(dòng)駕駛系統(tǒng)設(shè)計(jì)方案中基本采用了多雷達(dá)、少攝像頭方案進(jìn)行，主要是考慮到其中的自動(dòng)駕駛芯片算力因素。而僅靠多雷達(dá)的探測(cè)方案往往不能滿足性能需求，比如對(duì)于一些道路環(huán)境目標(biāo)類(lèi)型（如車(chē)輛類(lèi)型、車(chē)道線），細(xì)節(jié)化的環(huán)境探測(cè)（如標(biāo)志牌、車(chē)道小目標(biāo)）等都必須依靠攝像頭進(jìn)行有效探測(cè)。在下一代自動(dòng)駕駛系統(tǒng)中，我們對(duì)中央域控制器的設(shè)計(jì)已經(jīng)能夠完全覆蓋住其整體運(yùn)算過(guò)程對(duì)于芯片的算力、帶寬等要求后，我們的目標(biāo)就是實(shí)現(xiàn)多攝像頭全覆蓋以實(shí)現(xiàn)對(duì)環(huán)境的全方位無(wú)死角探測(cè)能力，其相應(yīng)的攝像頭搭載方案也需要進(jìn)行完備的設(shè)計(jì)。本文針對(duì)下一代自動(dòng)駕駛系統(tǒng)關(guān)于攝像頭傳感搭載設(shè)計(jì)方案、軟件信息處理方案及性能指標(biāo)設(shè)計(jì)方案將進(jìn)行詳細(xì)的闡述，旨在為讀者提供關(guān)于攝像頭方案的詳細(xì)說(shuō)明。

背景概述

從硬件架構(gòu)上講，當(dāng)前宣布量產(chǎn)的自動(dòng)駕駛系統(tǒng)方案大多數(shù)采用了5R1V1D的架構(gòu)（除像特斯拉一系列的攝像頭派），即前方探測(cè)依靠一顆單攝像頭和一顆毫米波雷達(dá)進(jìn)行，其主要探測(cè)目標(biāo)類(lèi)型包括車(chē)輛、本車(chē)道線；側(cè)方探測(cè)依靠4顆毫米波雷達(dá)進(jìn)行，側(cè)方的主要探測(cè)目標(biāo)類(lèi)型包括車(chē)輛目標(biāo)。而這樣的搭載方式針對(duì)以下幾個(gè)比較容易出現(xiàn)的極端場(chǎng)景，很多時(shí)候會(huì)出現(xiàn)失效：

1、前方目標(biāo)探測(cè)：

由于前方探測(cè)過(guò)程采用了基本都是一致性的目標(biāo)圖像輸出，通俗的講，很多情況下都是無(wú)法變換圖像大小的探測(cè)類(lèi)型，這就導(dǎo)致當(dāng)圖像分辨率過(guò)低時(shí)，其探測(cè)距離不足，無(wú)法提前針對(duì)遠(yuǎn)距離小目標(biāo)進(jìn)行探測(cè)；而圖像分辨率過(guò)高時(shí)，其探測(cè)的FOV不足，無(wú)法及時(shí)的對(duì)方便車(chē)道突然切入的目標(biāo)進(jìn)行反應(yīng)。

2、側(cè)方目標(biāo)探測(cè)：

側(cè)方探測(cè)中，當(dāng)前采用的毫米波雷達(dá)技術(shù)主要是應(yīng)用在自動(dòng)變道上，原理也很簡(jiǎn)單，主要是毫米波雷達(dá)依靠了車(chē)輛目標(biāo)的反射點(diǎn)進(jìn)行。這里我們需要澄清一點(diǎn)，側(cè)角雷達(dá)對(duì)于車(chē)輛目標(biāo)的探測(cè)通常只能保證其探測(cè)到相鄰車(chē)道的車(chē)輛目標(biāo)，而對(duì)于第三車(chē)道的車(chē)輛目標(biāo)的探測(cè)幾乎是束手無(wú)策的，這一過(guò)程對(duì)自動(dòng)駕駛帶來(lái)的潛在危險(xiǎn)影響也是比較巨大的。比如當(dāng)自車(chē)在從當(dāng)前車(chē)道切入到第二車(chē)道，而第三車(chē)道同時(shí)有車(chē)切入第二車(chē)道時(shí)，如果本車(chē)道車(chē)輛無(wú)法對(duì)該切入車(chē)輛進(jìn)行有效檢測(cè)，其結(jié)果就是導(dǎo)致兩車(chē)很可能相撞。

此外，側(cè)方雷達(dá)無(wú)法實(shí)現(xiàn)對(duì)側(cè)方車(chē)道線的有效探測(cè)，無(wú)法彌補(bǔ)由于前視攝像頭探測(cè)局限所帶來(lái)的盲區(qū)，也無(wú)法為側(cè)向融合的Freespace提供支撐。

攝像頭方案基礎(chǔ)架構(gòu)

如下圖表示了下一代自動(dòng)駕駛系統(tǒng)方案基礎(chǔ)架構(gòu)。其關(guān)鍵要素中，圖像處理Soc部分主要涵蓋了對(duì)攝像頭圖像的傳感輸入圖像處理ISP及目標(biāo)融合，當(dāng)然雷達(dá)或激光雷達(dá)也可以將原始數(shù)據(jù)作為輸入信息進(jìn)行目標(biāo)輸入。而邏輯控制單元MCU負(fù)責(zé)處理Soc的目標(biāo)融合結(jié)果，并輸入至運(yùn)動(dòng)規(guī)劃及決策控制模型單元進(jìn)行處理，其處理的結(jié)果用于生成車(chē)輛控制指令，控制車(chē)輛的橫縱向運(yùn)動(dòng)。

如下圖表示了下一代自動(dòng)駕駛系統(tǒng)中僅攝像頭搭載方案中典型傳感器架構(gòu)圖，相應(yīng)的傳感搭載性能說(shuō)明如下。

升級(jí)方案	攝像頭方案	基礎(chǔ)性能指標(biāo)	功能說(shuō)明
前方探測(cè)升級(jí)	1*Camera（廣視）	FOV：120° 探測(cè)距離：150m	本車(chē)道前方、側(cè)車(chē)道前方近距離目標(biāo)探測(cè)
	1*Camera（窄視）	FOV：30° 探測(cè)距離：300m	本車(chē)道前方遠(yuǎn)距離目標(biāo)探測(cè)
側(cè)方探測(cè)升級(jí)	4*Camera（側(cè)視）	FOV：100° 探測(cè)距離：80m	側(cè)車(chē)道車(chē)輛目標(biāo)和車(chē)道信息監(jiān)測(cè)
后方探測(cè)升級(jí)	1*Camera（后視）	FOV：80° 探測(cè)距離：100m	后方車(chē)輛目標(biāo)和車(chē)道信息目標(biāo)信息監(jiān)測(cè)

除開(kāi)以上基本指標(biāo)外，攝像頭的圖像分辨率和幀率也是需要重點(diǎn)考慮的。在解決了自動(dòng)駕駛中央控制器的算力和帶寬問(wèn)題后，攝像頭圖像分辨率盡量越大越好，且考慮到車(chē)輛駕駛過(guò)程中需要具體解決的場(chǎng)景問(wèn)題，一般是前向探測(cè)過(guò)程分辨率越大越好，當(dāng)前主推的前視攝像頭探測(cè)分辨率為800萬(wàn)像素。側(cè)視攝像頭探測(cè)的目標(biāo)一般是側(cè)方車(chē)道目標(biāo)，側(cè)方車(chē)道的場(chǎng)景匹配庫(kù)中一般針對(duì)自動(dòng)駕駛安全駕駛的場(chǎng)景較少，同時(shí)對(duì)于其側(cè)方探測(cè)距離也比前方探測(cè)要求更近，因此側(cè)方探測(cè)的分辨率要求可以稍比前視低一些，推薦一般采用200萬(wàn)像素的攝像頭即可滿足要求。當(dāng)然如果不考慮成本和處理效率，也可以參照前視攝像頭方案進(jìn)行傳感器搭載。

圖像處理軟件架構(gòu)Soc

對(duì)于圖像處理軟件模型而言，主要放在Soc芯片中進(jìn)行。其中的軟件模塊主要包括圖像信號(hào)處理ISP、神經(jīng)網(wǎng)絡(luò)單元NPU、中央處理器CPU、編解碼單元CODEC、MIPI接口輸出、邏輯運(yùn)算MCU接口輸出。

其中兩個(gè)最耗費(fèi)算力的計(jì)算單元包括圖像信號(hào)處理ISP及神經(jīng)網(wǎng)絡(luò)單元優(yōu)化NPU。

以上優(yōu)化的結(jié)果一方面是生成圖像基礎(chǔ)信息結(jié)果，通過(guò)輸入給中央處理單元CPU進(jìn)行綜合信息處理分配。一方面應(yīng)用于編解碼單元CODEC，進(jìn)行解碼后的圖像通過(guò)MIPI接口輸出至視頻娛樂(lè)影音系統(tǒng)進(jìn)行顯示，同時(shí)進(jìn)行環(huán)境語(yǔ)義解析后的結(jié)果輸入至ADAS邏輯控制單元MCU，該模塊可以通過(guò)與其他環(huán)境信息數(shù)據(jù)源（如毫米波雷達(dá)、激光雷達(dá)、全景攝像頭、超聲波雷達(dá)等）進(jìn)行信息融合后生成環(huán)境融合數(shù)據(jù)，并最終用于車(chē)輛的功能應(yīng)用控制。

當(dāng)然如果考慮到智能行車(chē)輔助控制會(huì)有部分信息輸入給其他智能控制單元進(jìn)行信息融合，則需要將生成的結(jié)果通過(guò)以太網(wǎng)輸入到網(wǎng)關(guān)，由網(wǎng)關(guān)進(jìn)行轉(zhuǎn)發(fā)后輸入至其他單元，比如智能泊車(chē)系統(tǒng)、人機(jī)交互顯示系統(tǒng)等。

另外，如果考慮自動(dòng)駕駛過(guò)程的事故追溯，通常會(huì)考慮將Soc處理的信息部分輸入至存儲(chǔ)卡，或者直接通過(guò)TBox上傳至云端或后臺(tái)監(jiān)控。

攝像頭硬件模組設(shè)計(jì)需求

在傳統(tǒng)的環(huán)視方案中感知本車(chē)周邊環(huán)境是采用大于 180°FOV 的魚(yú)眼相機(jī)實(shí)現(xiàn)的。隨著 L3平臺(tái)在業(yè)界的開(kāi)發(fā)、推廣，很多廠商也嘗試推廣基于環(huán)視魚(yú)眼相機(jī)的側(cè)視 和后視感知方案。一般情況下環(huán)視魚(yú)眼相機(jī)方案無(wú)法達(dá)到真正的 L3 +自動(dòng)駕駛平臺(tái)的要求。主要原因如下：

• 傳統(tǒng)環(huán)視相機(jī)的安裝位置主要是為了提供前、后、左、右 5-10 米的直觀視覺(jué)，而L3 自動(dòng)駕駛所關(guān)注的左前、右前、左后、右后的位置屬于相機(jī)圖像拼接范圍，感知精度受拼接影響；
• 環(huán)視相機(jī)對(duì)遠(yuǎn)距離和貼近本車(chē)的物體的圖像造成比較大的變形，在原圖中很難準(zhǔn)確預(yù)測(cè)物體的 3D 姿態(tài)、大小、和運(yùn)動(dòng)軌跡。在矯正的圖中因?yàn)樾巫儯兄冉档停?/span>
• 環(huán)視相機(jī)一般為感知近距離路面，安裝的 pitch 角度偏低。

因此，具備L3+級(jí)自動(dòng)駕駛的攝像頭硬件模組爆炸圖如下，相應(yīng)的性能設(shè)計(jì)中主要考慮如下因素：圖像傳輸方式、輸出分辨率、幀頻、信噪比、動(dòng)態(tài)范圍、曝光控制、增益控制、白平衡、最低照度、鏡頭材質(zhì)、鏡頭光學(xué)畸變、模組景深、模組視場(chǎng)角、額定工作電流、工作溫度、存儲(chǔ)溫度、防護(hù)等級(jí)、外形尺寸、重量、功能安全等級(jí)、接插件/線束阻抗等。

相機(jī)的安裝位置和相機(jī)的配置很大程度上決定了視覺(jué)感知的范圍和精度。基于對(duì)目前運(yùn)行設(shè)計(jì)域（ODD）的理解，側(cè)視相機(jī)配置除了必須達(dá)到車(chē)規(guī)標(biāo)準(zhǔn)的信噪比，低光照的性能以外，還需要滿足以下參數(shù)要求：

動(dòng)態(tài)范圍	水平像素	垂直像素	幀率
>110dB	>1280	>960	>30

視覺(jué)信息從光學(xué)鏡頭輸入，經(jīng)過(guò)多個(gè)環(huán)節(jié)處理，到最終感知算法檢測(cè)結(jié)果，受許多線性和非線性的因素影響，目前業(yè)界并沒(méi)有一個(gè)統(tǒng)一的公式表述相機(jī)配置與最終檢測(cè)結(jié)果。為了概念化的說(shuō)明相機(jī)配置中主要考慮方法。下面是在一款相機(jī)在典型場(chǎng)景下的傳感器像素輸出，與被識(shí)別目標(biāo)種類(lèi)、距離的關(guān)系圖表：

側(cè)視相機(jī)安裝位置和感知范圍（俯視）

此外，針對(duì)攝像頭布置位置而言，主要關(guān)注的點(diǎn)包含防水防塵等級(jí)以及其探測(cè)范圍內(nèi)是否有可遮擋其探測(cè)的部分。由此，前視攝像頭一般參照之前的布置位置將其放在內(nèi)后視鏡附近，通過(guò)一定的支架將其扣在其內(nèi)部，總體來(lái)講其布置方式并不復(fù)雜。而對(duì)于側(cè)視攝像頭來(lái)說(shuō)，由于一般需要布置在車(chē)輛側(cè)方位，一般可布置的位置是參照全景攝像頭的布置位置，放在外后視鏡下方，甚至專用翼子板附近。這就對(duì)攝像頭本身硬件模組的大小、尺寸、重量等提出了新的要求。一個(gè)基本的典型相機(jī)安裝方案草案，推薦的安裝位置如下：

位置	水平視角	垂直視角	Yaw	Pitch
左/右B柱	100°	90°	60°/-60°	-2°
左/右側(cè)視鏡	100°	90°	120°/-120°	-2°

基于目前已知信息，以及相關(guān)開(kāi)發(fā)中的一些經(jīng)驗(yàn)，視角交叉可以保證以相對(duì)窄角的相機(jī)同時(shí)有效覆蓋本車(chē)車(chē)身近距離和遠(yuǎn)距離。側(cè)前和側(cè)后的功能略有不同，側(cè)前側(cè)場(chǎng)景檢測(cè)。安裝位置和 Pitch 角度可偏高，F(xiàn)OV 略寬，側(cè)后主要是檢測(cè)遠(yuǎn)后、近后臨近車(chē)道的車(chē)輛，用于高速入口并線、本車(chē)換線。Pitch 角度可偏低，yawn 角度更接近與本車(chē)中線平行，F(xiàn)OV 略窄。具體參數(shù)可能在設(shè)計(jì)過(guò)程中需要調(diào)整。

總結(jié)

下一代自動(dòng)駕駛系統(tǒng)對(duì)于傳感器的要求進(jìn)一步提高，主要體現(xiàn)在攝像頭感知系統(tǒng)上。其中，主要需要考慮的是自動(dòng)駕駛域控制器算力、帶寬等是否能夠完全滿足攝像頭傳感器的要求。此外，攝像頭基本參數(shù)，如探測(cè)范圍、角度、分辨率、幀率等基本要素也是需要重點(diǎn)考慮的內(nèi)容。就其硬件本身而言，其設(shè)置模組相關(guān)內(nèi)容需要重點(diǎn)考慮其信噪比、發(fā)熱量、大小、尺寸、防水防塵等要素，旨在保證其布置位置能夠滿足其探測(cè)性能要求。最后，針對(duì)新型攝像頭探測(cè)能力而言，其對(duì)環(huán)境檢測(cè)結(jié)果效能存在較大的飛躍，比如全面提升車(chē)道線C0、C1、C2、C3精度，為L(zhǎng)KA、LCC等通過(guò)更大曲率彎道提供支撐。提升左右各個(gè)相鄰車(chē)道的識(shí)別距離和識(shí)別角度，為變道的路徑規(guī)劃提供更遠(yuǎn)更精確的輸入等等。