車載雙目相機(jī)
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2021-12-15
車載雙目相機(jī)的實(shí)例教程
車載雙目相機(jī)，一位老兵的二次出征，自動(dòng)駕駛?cè)谠挼诎似诘闹鹘恰? 概述
早在90年代未，意大利帕爾馬大學(xué)視覺實(shí)驗(yàn)室VisLab就利用雙目相機(jī)在高速公路完成了2000公里的長距離自動(dòng)駕駛試驗(yàn)，無人駕駛占比94%，而車速達(dá)到了112km/h。
這一成就，即使放在今天，也足以讓競爭對(duì)手汗顏。
但是后來的故事沒有按照俗套的劇本演繹，故事的主人公也一度變成了雙目相機(jī)的弟弟單目相機(jī)。
單目相機(jī)在今天的自動(dòng)駕駛領(lǐng)域混的風(fēng)生水起、婦孺皆知。前有傳統(tǒng)豪門Mobileye的一見鐘情，中有車中貴族特斯拉的情有獨(dú)鐘，后有遍地開花自動(dòng)駕駛企業(yè)的萬千恩寵。單目相機(jī)，儼然一幅修煉辟邪劍譜后，睥睨武林的不可一世。
然而單目相機(jī)的測距，高度依賴深度學(xué)習(xí)。而目前深度學(xué)習(xí)視覺感知框架下，需要先進(jìn)行目標(biāo)識(shí)別，才能進(jìn)行下一步的距離探測。如果單目相機(jī)無法識(shí)別出目標(biāo)，則會(huì)認(rèn)為前方?jīng)]有障礙物，規(guī)劃不會(huì)選擇變道，控制不會(huì)選擇減速，結(jié)果可能就是新聞中特斯拉的“視而不見，目中無物”。提高深度學(xué)習(xí)視覺感知目標(biāo)識(shí)別率的方法就是加大訓(xùn)練數(shù)據(jù)集，窮盡自動(dòng)駕駛車輛路上可能遇見的一切目標(biāo)。但對(duì)于“人不能兩次踏進(jìn)同一條河流”的變化世界來說，窮盡本身就是偽前提。
而雙目相機(jī)通過左右兩個(gè)相機(jī)從不同角度同時(shí)對(duì)被測物體成像，并基于視差原理計(jì)算圖像對(duì)應(yīng)點(diǎn)的位置偏差，從而獲得被測物體的距離信息，結(jié)合相機(jī)的內(nèi)外參數(shù)，可以最終得到帶有空間三維坐標(biāo)的點(diǎn)云數(shù)據(jù)。這意味著，雙目相機(jī)無須識(shí)別出目標(biāo)，也能進(jìn)行目標(biāo)距離的探測。且測距準(zhǔn)確度遠(yuǎn)高于單目相機(jī)通過深度學(xué)習(xí)估算的距離。
展開 
車載雙目相機(jī)的相關(guān)專題、標(biāo)簽、搜索
車載雙目相機(jī)的最新內(nèi)容
更平滑的默認(rèn) IES 大燈衰減
光線追蹤相機(jī)現(xiàn)支持自陰影開關(guān)。相機(jī)曝光新增ManualFromLuminanceRange 類型，基于配置的亮度范圍重新映射 RGB 值。光柵化管線進(jìn)行了多項(xiàng)優(yōu)化，包括增強(qiáng)排序和可選的網(wǎng)格著色 GPU 管線。異步執(zhí)行能力也有所提升。
雷達(dá)傳感器方面，PLY 輸出新增 segmentation_id 字段。
實(shí)驗(yàn)室靜態(tài)環(huán)境下可通過固定偏置補(bǔ)償壓縮誤差，但礦山車輛工況下存在以下問題：
振動(dòng)導(dǎo)致網(wǎng)口接觸不良，TCP重傳使單幀延遲突增至300ms以上
車載EMI導(dǎo)致誤碼率上升，延遲抖動(dòng)標(biāo)準(zhǔn)差從3~5ms擴(kuò)大到20~50ms
溫度變化影響設(shè)備緩沖策略，實(shí)驗(yàn)室標(biāo)定值在實(shí)車上需重新標(biāo)定
總結(jié)來看，軟實(shí)時(shí)方案的適用場景為時(shí)間對(duì)齊精度要求100ms級(jí)別，傳感器種類單一，網(wǎng)絡(luò)環(huán)境穩(wěn)定。
在自動(dòng)駕駛領(lǐng)域，車載ADAS系統(tǒng)需要在高速震動(dòng)中保持對(duì)遠(yuǎn)近視場的恒定清晰監(jiān)控。威睛的無焦點(diǎn)方案，將機(jī)械對(duì)焦這一薄弱環(huán)節(jié)整個(gè)換成了算力——算力是不怕震動(dòng)的。同時(shí)，系統(tǒng)級(jí)小型化優(yōu)勢也為車載傳感器的緊湊化設(shè)計(jì)提供了可能性。
威睛光學(xué)已獲得聯(lián)合光電（上市公司）、同方以衡基金、晨暉資本等知名投資方青睞。
汽車工業(yè)：座椅舒適性、開關(guān)旋鈕、車載屏幕、車機(jī)、連接器檢測。
機(jī)器人生態(tài)：四足 / 人形機(jī)器人、機(jī)器人末端執(zhí)行器檢測。
工廠自動(dòng)化：產(chǎn)線上下料、物料周轉(zhuǎn)、柔性生產(chǎn)線、AGV 小車、機(jī)械臂集成。
同時(shí)提供機(jī)器視覺、力傳感器、機(jī)器人快換盤等核心部件，及特種裝備非標(biāo)定制服務(wù)，滿足多元化檢測與自動(dòng)化需求。
五維智能感知——下一代光學(xué)的百年演進(jìn)1個(gè)月前
思特威 專注于安防監(jiān)控和車載電子領(lǐng)域的CIS產(chǎn)品，在低照度成像和寬動(dòng)態(tài)范圍方向有技術(shù)積累。與格科微類似，思特威在多維感知IP方面的布局尚處早期，偏振、光譜等維度尚未見公開產(chǎn)品。
長光辰芯 成立于2012年，是中國高端CMOS圖像傳感器領(lǐng)域的重要力量，專注于科學(xué)級(jí)、工業(yè)級(jí)和專業(yè)成像應(yīng)用。
圖2：天氣粒子效果
（3）移動(dòng)光源下的場景重建
自動(dòng)駕駛車輛經(jīng)常在夜間或隧道等暗光環(huán)境中工作，此時(shí)車載光源成為主要照明。但這帶來同一路面，車輛靠近時(shí)被強(qiáng)光照亮，遠(yuǎn)離時(shí)又陷入黑暗，視覺外觀完全不同的棘手問題。傳統(tǒng)3DGS會(huì)把不同光照下的觀測當(dāng)作不同的表面材質(zhì)來學(xué)習(xí)，導(dǎo)致重建失敗。
DarkGS針對(duì)自動(dòng)駕駛常見的夜間或隧道場景，提出了NeLiS光源模型。
（4）視頻輸入：采用支持UVC協(xié)議的工業(yè)相機(jī)，通過USB3.0接入，由軟件實(shí)現(xiàn)多路視頻幀級(jí)時(shí)間對(duì)齊。
該架構(gòu)的精髓在于“模塊化”：工程師可根據(jù)具體車型的拓?fù)洌ㄈ缂惺紼/E架構(gòu)或域控架構(gòu)），像搭積木一樣增減對(duì)應(yīng)的采集模塊，而非重新設(shè)計(jì)整個(gè)系統(tǒng)。
基于PTP，如何做好多傳感器微秒級(jí)時(shí)間同步？4個(gè)月前
02 相機(jī)與工控機(jī)時(shí)間同步
PTP時(shí)間同步體系
以相機(jī)和工控機(jī)實(shí)現(xiàn)PTP時(shí)間同步部署為例，相機(jī)采集端口采集用以太網(wǎng)接口(支持PTP)，工控機(jī)對(duì)應(yīng)采用以太網(wǎng)接口(支持PTP)，以此搭建基礎(chǔ)的同步硬件鏈路。此外，激光雷達(dá)通常采用車載以太網(wǎng)（支持 (g) PTP 協(xié)議）完成時(shí)間同步，其實(shí)現(xiàn)思路與部署邏輯和本案例中的相機(jī)方案同理。
設(shè)備支持寬溫運(yùn)行，抗震等級(jí)高，專為車載環(huán)境設(shè)計(jì)。
加裝了BMC-ETH6000和CAN拓展模塊的 BRICKplus
（2）無損數(shù)據(jù)接入：通過 MDILink 轉(zhuǎn)換器，將相機(jī)的GMSL2信號(hào)無損轉(zhuǎn)換為萬兆/千兆以太網(wǎng)數(shù)據(jù)。
探討如何構(gòu)建端到端高置信度驗(yàn)證體系？5個(gè)月前
對(duì)齊方法：將重建場景與車載高精地圖（HD Map）進(jìn)行坐標(biāo)對(duì)齊，確保語義元素（車道線、交通標(biāo)志）位置一致。
驗(yàn)證流程：在重建場景的虛擬相機(jī)位姿下，渲染圖像并與拍攝的真實(shí)照片進(jìn)行光照一致性對(duì)比，使用PSNR、SSIM等圖像質(zhì)量指標(biāo)進(jìn)行量化評(píng)估。同時(shí)，驗(yàn)證其在多模態(tài)傳感器（相機(jī)+LiDAR）下的一致性。
