作者 |  程增木

原題 |  自動駕駛之「眼」— 車載攝像頭技術的現在與未來

前言

自動駕駛包括感知、判斷和執行，而感知是整個過程的源頭，是自動駕駛系統的重要模塊。在車輛行車過程中，感知系統會通過傳感器實時采集周邊環境的信息，相當于自動駕駛汽車的「眼睛」，可以幫助汽車實現類似于人類駕駛員一樣效果的觀察能力。

在自動駕駛車輛中，感知系統主要由攝像頭、毫米波雷達、激光雷達（可選，這里主要是怕被特斯拉的粉絲杠）等傳感器構成。攝像頭作為主要的環境感知傳感器起著非常重要的作用， 可以實現 360° 全面視覺感知，彌補雷達在物體識別上的缺陷，是最接近人類視覺的傳感器。因此是車載攝像頭是自動駕駛領域的關鍵設備之一。

本文來自汽車智能網聯技術青年專家程增木老師為我們帶來車載攝像頭的技術入門介紹、目前主流的車型車載攝像頭搭載方案的優劣比較和未來車載攝像頭的發展趨勢。

什么是車載攝像頭？

車載攝像頭主要的硬件結構包括光學鏡頭（其中包含光學鏡片、濾光片、保護膜等）、圖像傳感器、圖像信號處理器 ISP、串行器、連接器等器件。其結構示意圖如圖所示：

車載攝像頭的結構構成(圖片來源:安森美半導體公司）

光學鏡頭： 負責聚焦光線，將視野中的物體投射到成像介質表面，根據成像效果的要求不同，可能要求多層光學鏡片。濾光片可以將人眼看不到的光波段進行濾除，只留下人眼視野范圍內的實際景物的可見光波段。

圖像傳感器： 圖像傳感器可以利用光電器件的光電轉換功能將感光面上的光像轉換為與光像成相應比例關系的電信號。主要分為 CCD 和 CMOS 兩種。

ISP 圖像信號處理器： 主要使用硬件結構完成圖像圖傳感器輸入的圖像視頻源 RAW 格式數據的前處理，可轉換為 YCbCr 等格式。還可以完成圖像縮放、自動曝光、自動白平衡、自動聚焦等多種工作。

串行器： 將處理后的圖像數據進行傳輸，可用于傳輸RGB、YUV等多種圖像數據種類。

連接器： 用于連接固定攝像頭。

車載攝像頭在制造工藝及可靠性要求方面也要高于工業攝像頭和商用攝像頭，由于汽車需長期工作在惡劣環境中，車載攝像頭需要在高低溫環境、強振動、高濕熱等復雜工況環境下穩定工作，對于工藝制造方面的要求主要如下：

車載攝像頭的工藝需求

目前車上搭載的車載攝像頭根據安裝位置主要分為車載攝像頭主要分為前視攝像頭、環視攝像頭、后視攝像頭、側視攝像頭以及內置攝像頭五種類別。

前視攝像頭： 主要安裝在前擋風玻璃上，用于實現行車的視覺感知及識別功能，根據功能又可以分為前視主攝像頭、前視窄角攝像頭和前視廣角攝像頭。

特斯拉前視攝像頭模組（圖片來源：特斯拉）

前視主攝像頭： 該攝像頭在 L2 的 ADAS 系統中作為主攝像頭使用。其視場角的一般為 30°、50°、60°、100°、120°，檢測距離一般為 150 - 170 m，攝像頭輸出的格式為 RCCB 或 RCCC。

前視廣角攝像頭：該攝像頭的作用主要是識別距離較近的物體，主要用于城市道路工況、低速行駛等場景，其視場角在 120° - 150°，檢測距離在 50 m 左右。在后續 8MP 鏡頭大規模裝車后，無需該攝像頭。

前視窄角攝像頭： 該攝像頭的主要作用是進行紅綠燈、行人等目標的識別，一般選用窄角鏡頭，可選擇 30 - 40° 左右的鏡頭。并且該鏡頭的像素一般和前視主攝像頭的鏡頭像素一致，該攝像頭采用窄角度，具有更高的像素密度和更遠的檢測距離，一般可達 250 m 甚至可探測更遠的距離。

在上了 8MP 攝像頭后，前視主攝像頭的 FOV 可達 120°，該攝像頭可能就不需要了。檢測距離在 60 m 左右。

環視攝像頭： 主要安裝在車身四周，一般使用 4 - 8 個攝像頭，可分為前向魚眼攝像頭/左側魚眼攝像頭/右側魚眼攝像頭/后向魚眼攝像頭。用于全景環視功能的顯示，以及融合泊車功能的視覺感知及目標檢測；常用色彩矩陣為 RGGB，因為有色彩還原的需求。

后視攝像頭： 一般安裝在后備箱上，主要是實現泊車輔助。視場角在 120 - 140° 之間，探測距離大概 50 m。

側前視攝像頭： 安裝在 B 柱或者車輛后視鏡處，該攝像頭的視場角一般為 90° - 100°，探測距離大概在 80 m 左右，這個攝像頭的主要作用是檢測側向車輛及自行車。

側后視攝像頭： 一般安裝在車輛前翼子板處，該攝像頭的視場角一般為 90° 左右，探測距離也在 80 m 左右，主要用于車輛變道、匯入其它道路等場景應用。

內置攝像頭： 主要用于監測司機狀態，實現疲勞提醒等功能。

其中，前視攝像頭價格相對較高，目前市場價格處在 300 - 500 元水平；其余攝像頭價格在 150 - 200 元左右。

車載攝像頭搭載方案優劣比較

特斯拉 —— 純視覺感知的深度擁護者

特斯拉的 Autopilot 系統搭載了 8 個攝像頭，其中前方攝像頭模組共由 3 個攝像頭組成，這 3 個攝像頭都是基于 2015 年安森美半導體公司發布的 120 萬像素圖像傳感器開發的，其配備了 3 個 AR0136A 上的 CMOS 圖像傳感器，像素大小為 3.75 um，分辨率為 1280×960（1.2MP）。

主視野攝像頭： 視野能覆蓋大部分交通場景。

魚眼鏡頭： 視野達 120 度的魚眼鏡頭能夠拍攝到交通信號燈、行駛路線上的障礙物和距離較近的物體，非常適用于城市街道、低速緩行的交通場景。

長焦距鏡頭： 視野相對較窄，適用于高速行駛的交通場景，并可以清晰拍攝遠達 250 m 的物體。

前方側視攝像頭： 視場角為 90°，前方側視攝像頭分別位于特斯拉兩側的 B 柱上，最大探測距離為 80 m。其能夠探測到高速公路上突然并入當前車道的車輛，以及在進入視野受限的交叉路口時進行探測。

側方后視攝像頭： 最大探測距離為 100 m，能監測車輛兩側的后方盲區，在變道和匯入高速公路時起著重要作用。

后視攝像頭： 探測距離為 50 m，主要進行泊車輔助。

小鵬 P7 —— 搭載最多攝像頭的車型代表

小鵬 P7 搭載了 14 個攝像頭，我們選擇其中最重要的幾個攝像頭講解。

前方攝像頭模組 共由 3 個攝像頭組成，這 3 個攝像頭都是 200 萬像素，幀率為 15/60 fps。

其中分為遠距感知攝像頭：視場角為 28°，是窄視角的前向攝像頭，可探測 150 米以上的路面情況。

中距感知攝像頭： 視場角為 52°，是主要的前向攝像頭，可探測 30 - 70 m 的范圍。

遠距離感知攝像頭： 視場角為 100°，可探測 40 m 的范圍。

小鵬 P7 的側前視攝像頭安裝在后視鏡處，視場角為 100°，100 萬像素，分辨率是 457*237，fps 為 30，用于防加塞和側向車輛的檢測。

小鵬 P7 的后視側邊攝像頭安裝在翼子板上，參數與側視攝像頭差不多，用于ALC（自動變道）、開門預警和盲區檢測。

小鵬 P7 的后視攝像頭安裝在后備箱處，視場角為 52°，200 萬像素，fps 為 30，用于 ALC、盲區檢測和追尾預警。

奔馳 S 級 —— 傳統主機廠方案的代表

奔馳 S 級搭載了 7 個攝像頭，其中前方攝像頭模組共由 2 個雙目立體攝像頭組成，這 2 個攝像頭的像素均為 1.3MP，其鏡頭光軸之間的距離大概在 22 - 25 cm 左右，探測的有效距離大約為 120 m，攝像頭的視場角大約在 50° 左右，刷新頻率在 10Hz 左右。

供應商為大陸汽車電子，該雙目攝像頭可完成 3D 立體識別功能，可以完成目標跟蹤、位置預測并且配合毫米波雷達實現目標速度的檢測。

奔馳 S 級在保險杠處安裝了一個攝像頭，該攝像頭是前向魚眼攝像頭，視場角約為 120°，配合其它視像頭實現 360° 環視功能。

 奔馳 S 級前魚眼攝像頭

奔馳 S 級在兩個后視鏡處各安裝了一個攝像頭，該攝像頭是側向魚眼攝像頭，視場角約為 120°，配合其它視像頭實現 360° 環視功能。

 奔馳 S 級側視魚眼攝像頭

奔馳 S 級的的后視攝像頭安裝在后備箱處，視場角約為 120°，200 萬像素，配合其它視像頭實現 360° 環視功能。

  奔馳 S 級后視魚眼攝像頭

方案對比：

從方案中我們可以看到，特斯拉的 8 個攝像頭均與行車系統有關聯，這與其一直宣傳的不依靠激光雷達純視覺的自動駕駛方案是有較大關聯的，特斯拉的這一套方案的最大優勢就是：高性價比。特斯拉用了成本非常低的自研 1.2MP 攝像機就實現了 L2+ 級別的自動駕駛。

小鵬 P7 使用了多個攝像頭，這一套方案的最大優勢就是：可拓展性較強。前期方案在設計時需要提高硬件成本，但是在后期 OTA 升級后，其自動駕駛功能具有非常好的兼容性和可拓展性。

通過這套傳感器模型，小鵬實現了具有較好體驗的 L2+ 級別的自動駕駛功能，包括小鵬極具特色的高速自主導航駕駛（NGP）和停車場記憶泊車功能。

奔馳 S 級是傳統主機廠方案的代表，雙目立體攝像頭方案是奔馳 S 級最大的優勢。相比于單目攝像頭，雙目攝像頭可以計算當前檢測目標在 X、Y、Z 坐標下的運動情況，判斷檢測目標的姿態及目標類型，奔馳在 L2 級別的 ADAS 功能的體驗效果也比另外兩家好一些。

從上文對已經量產車型的攝像頭方案分析中，我們發現其都是使用中低像素攝像頭來實現自動駕駛功能。隨著技術的發展與更新，未來更多量產車型及自動駕駛解決方案會使用 800 萬攝像頭。

800 萬像素攝像頭未來發展趨勢

800 萬像素相對于 120 萬像素的攝像頭，它可以探測到 100 - 150 m 范圍內的行人，并且在窄視角的場模式情況下，大約可以探測到 500 m 左右的動態車輛，180 m 左右的小目標。

2018 年德國大陸集團就發布了 800 萬像素的攝像頭 MFC535，這款攝像頭的視場角為 125°，并且可以識別 100 m 的交通標志，140 m 的自行車、行人， 160 m 的摩托車和三輪車，250 m 的轎車，這款攝像頭的性能不錯，可以有效提升車輛的感知性能并且應對最新的 Euro NCAP 安全標準。

MFC535 可利用深度學習方法，識別人體的四肢、背包、五官，并判別出行人的姿態，包括但不限于行、坐、臥、立等狀態，以及判斷出大人還是小孩。

大陸MFC535攝像頭(來源:大陸集團德國官網）

豪威科技在 2019 年發布了 2 款 800 萬像素前向攝像頭 OX08A 和 OX08B。兩款攝像頭都具有非常良好的高動態范圍（HDR），并且在芯片上集成于了  HALE（HDR 和 LFM 引擎）合成算法，OX08B 還具有非常優秀的 LED 閃爍抑制（LFM）性能。

這兩款攝像頭都可以提供 4 次讀取 HDR、3840x2160 圖像分辨率（8MP）、36 fps、16:9 比例的圖像，同時提供多種 CFA 排列來滿足自動駕駛的性能需求，可以準確探測遠處的人和物體，并且可以滿足極暗或極亮環境下的應用需求（例如駛出隧道）。這兩款攝像頭都滿足 ASIL-C 功能安全要求。

對于車規級 800 萬像素的攝像頭，目前國內蔚來 ET7、2021 款理想 ONE 極氪 001 等車型在使用。

蔚來：

2021 年 1 月蔚來發布了 ET7，這款車的一大亮點就是搭載了 11 顆 800 萬像素的高清攝像頭。ET7 基于 NT2.0 平臺打造，前向攝像頭有 4 顆，環視攝像頭為 4 顆，感知攝像頭為 3 顆。

蔚來的 11 顆攝像頭的供應商為均勝電子，這顆 800 萬像素的高清攝像頭可以最遠探測 687 m 左右的車輛，262 m 左右的錐桶，223 m 左右的人。攝像頭分別分布在前保險杠、后視鏡、翼子板、后備箱、鯊魚鰭、車頂部。

前保險杠處的 800 萬像素攝像頭。

后視鏡處 800 萬像素環視攝像頭。

翼子板處 800 萬像素側后視覺攝像頭

后備箱處 800 萬像素后環視攝像頭。

鯊魚鰭處 800 萬像素后環視攝像頭。

車頂側 800 萬像素前側感知攝像頭。

理想：

2021 款理想 ONE 在國內市場正式首發，該車搭載了 800 萬像素前視攝像頭，識別精度達到 4K 級別，有效可視距離約為 200 m ，視場角為 120°。

理想800萬像素前置攝像頭模組(來源汽車之家)

極氪：

2021 年發布的極氪 001 使用了 15 個攝像頭，其中 12 個攝像頭用于自動駕駛，其中 8 個遠距離攝像頭都是使用 800 萬像素的高清攝像頭，可以覆蓋車輛感知全視野區域。

對于芯片的要求：

一個 800 萬像素的 16 位前視攝像頭，以每秒 60 幀的速度運行，數據速率可達 1GB/s。800 萬像素的攝像頭，每秒鐘需要處理的數據量是巨大的，同時對于不同場景和不同的神經網絡，耗費的算力也不一樣。

在日后 800 萬像素攝像頭成為標配后，計算平臺也需提升自己的算力。單個 800 W 在使用 FP16 精度數據的情況下，攝像頭的數據速率為 1GB/S，在內存帶寬為 64GB/S，供電電壓和溫度情況均正常，其算力需求主要集中在深度學習模型的 batch 尺寸中。

假設使用 ResNet-50 進行圖像處理，每秒需處理 1 GB 的數據圖像量，大概可以處理 159 張圖像，該網絡在「修枝」后需要大約每秒 70 億次的運算，粗略估計需要 1.14 TOPS 的算力。（以上情況為簡單估算）

由此可見，升級了 800 萬像素后，隨著深度學習網絡的發展，其對算力具有更高的要求。

蔚來超算平臺 NIO Adam 使用了 4 顆 NVIDIA Drive Orin 芯片，包括 2 顆主控芯片 + 1 顆冗余備份芯片 + 1 顆群體智能與個性訓練專用芯片，算力最高為 1016 TOPS，并且有超高帶寬的圖像接口，ISP 每秒可處理64億像素。這對于使用 11 顆 800 萬攝像頭的 ET7 來說性能是足夠的。

2021 款理想 ONE 使用地平線征程 3 芯片，這款芯片基于臺積電 16nm FFC 工藝，使用雙核 BPU AI 引擎，等效算力 ≥ 5 TOPS；使用 4 核 Arm Cortex-A53 處理器，支持 4K@30fps 圖像處理、HDR 寬動態、3D 降噪以及畸變矯正。

極氪 001 使用 2 顆 Mobileye EyeQ5H，使用臺積電的 7 nm FinFET 工藝打造，單顆芯片算力為 24 TOPS。

算法層面的思考：

使用 800W 像素攝像頭后帶來的一個比較大的問題就是過多的數據量，在融合和處理時可以借助一些方法進行處理。作者在閱讀大量文獻后，推薦使用 CenterNet 網絡的處理思路對多目標、多數據量進行處理。

上圖展示的核心方法就是使用 CenterNet 算法進利用攝像頭數據預測目標的中心點，并回歸得到目標的 3D 坐標、深度、旋轉等信息。高像素攝像機適合使用 CenterNet，相對于之前的 one-stage 和 two-stage 的目標檢測，基于高分辨率的圖像輸入，圖像傳輸的物體的特征可提取性較好，CenterNet的「anchor」僅僅會出現在當前需檢測的目標（例如行人、車輛等）的位置處而不是整張圖，在高分辨率圖像的支持下可以精準地直接檢測目標的中心點和大小。

隨后將高精度攝像頭的檢測的目標中心點數據和激光雷達采集到的目標數據進行關聯，可以采用視錐的方法進行關聯?？梢曰趯ο蟮娜S邊界生成 ROI 的截錐體，如下圖所示。

ROI 的截錐體（來源：CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection）

邊界生成 ROI 的截錐體的 BEV 與雷達檢測到的特征進行融合，最終顯示如下圖。

                        ROI 的截錐體的 BEV 與雷達檢測到的特征融合圖（來源：CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection）

隨后將關聯后的目標的特征和雷達數據檢測到的深度和速度信息組成的特征圖并聯，再進行 3D 目標深度、旋轉、速度和屬性的回歸。

                    算法檢測結果圖（來源：CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection）

隨后將關聯后的目標的特征和雷達數據檢測到的深度和速度信息組成的特征圖并聯，再進行 3D 目標深度、旋轉、速度和屬性的回歸。

作者在 nuScenes 數據集上進行了驗證，該方法可顯著提高檢測精度。隨著 800 萬像素的車載攝像頭日后的推廣應用，隨著檢測圖像的信息越來越豐富，精度越來越高，相信以后會有更多更高效、更快速的視覺檢測網絡及算法應用到汽車上。

車載攝像頭的未來改善需求

攝像頭的像素大幅提升，帶來的不光光是對芯片算力等性能的要求，還帶來了對于功率、熱管理等層面的需求。為了實現更好的性能，攝像頭需要更大功率的電源，因此攝像頭熱管理也是一個需要考慮的大問題。傳統攝像頭基本都是使用內置 ISP，但一些行業也在使用無 ISP 的攝像頭模組，數據直接傳輸到域控制器，由外部 ISP 進行處理。

ISP 是攝像頭產生熱量和提升功耗的主要元器件，部分公司提出把 ISP 集成到控制器中進行熱管理。

例如安波福提出的解決方案是攝像頭保留光學鏡頭和圖像傳感器部分，將 ISP 移動到相應的控制器主板中，通過以太網來進行數據傳輸。很多圖像傳感器制造商在把 ISP 模塊從攝像頭模組中移除，來限制攝像頭的功耗和熱量產生。

與此同時，ISP 被集成到專用的視覺處理器（SoC）中，可以提高圖像的成像質量，并且可以同時處理多個攝像頭的數據，以此來降低成本。

相信未來單個高精度攝像頭的成本會出現大幅下降，后續當高精度攝像頭成為標配時，整體成本會有比較大的下降空間。

參考文獻：

[1] 《大陸集團發布了自己的第五代車規級攝像頭MFC500系列》

http://www.elecfans.com/d/695539.html

[2] 《豪威科技推出兩款全新車規級圖像傳感器平臺新品OX08A和OX08B》

http://ep.cntronics.com/guide/4302/5174

[3] 《CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection》

作者簡介

程增木 ，高級工程師，芯片之家（ chiphome ）聯合創始人，國家注冊信息系統項目管理師，中國自動化標準委員會委員，機械工業出版社顧問專家，青島市即墨區交通運輸局項目顧問專家，山東交通學院外聘教師，中國自動化學會及中國機械工程學會會員，中科信軟培訓中心講師，得捷電子KOL講壇大師。出版學術著作《智能網聯汽車技術入門一本通》、《智能網聯汽車技術概論》。發表學術論文 12 篇，其中 EI 收錄 4 篇，授權專利 3 項。

曾在 IEEE 人工智能與模式識別學術會議、IEEE 人工智能與系統工程學術會議、中國 PMO 大會、中國國際智能駕駛汽車電子關鍵技術論壇、焉知汽車年會、中國汽車報等發表專題學術及行業報告。