多傳感器時間對齊
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時間：2026-01-05
多傳感器時間對齊的實例教程
</p><h1><strong>3）方案概述及科研價值</strong></h1><h3><strong>3.1方案概述</strong></h3><p><strong>多源異構(gòu)傳感器納秒級時間同步</strong>解決方案（簡稱<strong>多傳感器時間同步方案</strong>）是一套基于<strong> XTSS 服務(wù)</strong>的完整時間同步體系：以 DATALynx ATX4 或 BRICK2 作為 PTP Grandmaster（主時鐘），通過 IEEE 1588 PTP 高精度協(xié)議<strong>抵消</strong>各傳感器獨立晶振的 ppm 級<strong>溫漂誤差</strong>；</p><p>同時借助 QX550、ProFrame3 等硬件<strong>直接對接傳感器物理層</strong>，在數(shù)據(jù)離開傳感器的瞬間完成時間戳記錄，規(guī)避‘滯后時間戳’問題；并通過硬件觸發(fā)替代軟件觸發(fā)，減少操作系統(tǒng)調(diào)度抖動，最終構(gòu)建納秒級精度的統(tǒng)一時間基準(zhǔn)，通過 ADTF/ROS 等軟件框架貫穿數(shù)據(jù)處理鏈路，實現(xiàn)從<strong>微秒級‘軟件對齊’</strong>到<strong>納秒級‘硬件同步’</strong>的工程跨越。
展開 TOF是飛行時間（Time of Flight）技術(shù)的縮寫，即傳感器發(fā)出經(jīng)調(diào)制的近紅外光，遇物體后反射，傳感器通過計算光線發(fā)射和反射時間差或相位差，來換算被拍攝景物的距離，以產(chǎn)生深度信息，此外再結(jié)合傳統(tǒng)的相機(jī)拍攝，就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現(xiàn)出來。根據(jù)原理來看,ToF技術(shù)早期的應(yīng)用相對簡單,就是用來測距。
從去年開始,一票傳感器廠商和手機(jī)廠商的目光都投向了ToF傳感器。直到今年,英飛凌、AMS等傳感器廠商,以及蘋果、華為、三星等手機(jī)廠商仍在不斷推進(jìn)ToF傳感器的技術(shù)和應(yīng)用升級,可以推測,ToF傳感器不僅是火了,它已經(jīng)來了。
但是,隨著ToF技術(shù)的應(yīng)用不斷拓寬,ToF傳感器進(jìn)入人們的視野主要是智能手機(jī)和平板領(lǐng)域,并且主要集中在3D ToF圖像傳感器,由于ToF傳感器目前最主要的是應(yīng)用在成像領(lǐng)域。
在ToF傳感器逐漸成為智能手機(jī)標(biāo)配的時候,多攝像頭的目的就逐漸浮出水面,可用于多場景的識別應(yīng)用,例如前置及后置鏡頭用于手勢識別或者安全支付的臉部3D辨識,以及AR/VR也是ToF在3D感知上的應(yīng)用方向。
圖2可以看到,目前ToF傳感器在細(xì)分領(lǐng)域的市場份額,主要還是以消費電子和汽車為主。 但是我們注意到ToF圖像傳感器除了在消費電子上仍然有很大的應(yīng)用前景,其在物聯(lián)網(wǎng)領(lǐng)域潛力也具有被挖掘的潛力。例如：
智能家居、智慧安防、智慧零售、人流監(jiān)控,ToF傳感器用于識別和跟蹤人體,不僅僅是現(xiàn)在的認(rèn)臉模式,通過深度信息可以提高識別準(zhǔn)確度;在自動駕駛/ 車內(nèi)感知領(lǐng)域,ToF 傳感器也可以成為車載激光雷達(dá)、車內(nèi)人體識別、車內(nèi)手勢識別的重要元器件等。目前,也有不少企業(yè)將ToF傳感器植入AGV和機(jī)器人手臂當(dāng)中,用于精準(zhǔn)導(dǎo)航和實時避障。
展開 我們可以在每種傳感器中找到諸如此類的優(yōu)缺點。
傳感器融合這一想法的偉大之處在于獲得不同傳感器和傳感器種類的輸入內(nèi)容，并且使用組合在一起的信息來更加準(zhǔn)確地感知周圍的環(huán)境。相對于獨立系統(tǒng)，這樣可以做出更好、更安全的決策。雷達(dá)也許不具有光傳感器所具有的分辨率，不過它在測距和穿透雨、雪和濃霧方面具有很大優(yōu)勢。這些天氣條件或光照不足的惡劣情況不利于攝像頭發(fā)揮作用，不過攝像頭能夠分辨顏色（可以想一想街道指示牌和路標(biāo)），并且具有很高的分辨率。目前路面上圖像傳感器的分辨率已經(jīng)達(dá)到1百萬像素。在未來幾年內(nèi)，圖像傳感器的發(fā)展趨勢將是2百萬，甚至4百萬像素。
雷達(dá)和攝像頭是兩項傳感器技術(shù)完美融合、互為補(bǔ)充的典范。采用這種方法的融合系統(tǒng)所實現(xiàn)的功能要遠(yuǎn)超這些獨立系統(tǒng)能夠?qū)崿F(xiàn)的功能總和。使用不同的傳感器種類可以在某一種傳感器全都出現(xiàn)故障的環(huán)境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（諸如一團(tuán)濃霧）或是人為現(xiàn)象（例如對攝像頭或雷達(dá)的電子干擾或人為干擾）導(dǎo)致。即使是在一個傳感器失效的情況下，這樣的傳感器融合系統(tǒng)也可以保持某些基本或緊急的功能。完全借助報警功能，或者讓駕駛員時刻做好準(zhǔn)備，從而接管對車輛的控制，系統(tǒng)故障也許就不那么嚴(yán)重了。然而，高度和完全自動駕駛功能必須提供充足的時間讓駕駛員重新獲得對車輛的控制。在這段駕駛員接管車輛控制之前的時間范圍內(nèi)，控制系統(tǒng)需要保持對車輛最低限度的控制。
傳感器融合系統(tǒng)示例
傳感器融合的復(fù)雜程度有所不同，并且數(shù)據(jù)的類型也不一樣。兩個基本的傳感器融合示例是：a）后視攝像頭加上超聲波測距；b）前方攝像頭加上多模式前置雷達(dá)——參見圖2。現(xiàn)在，我們可以通過對現(xiàn)有系統(tǒng)進(jìn)行輕微更改和/或通過增加一個單獨的傳感器融合控制單元來對其進(jìn)行實現(xiàn)。
展開 01 引言
自動駕駛車輛行駛過程中，多傳感器（相機(jī)、激光雷達(dá)等）采集的帶有精準(zhǔn)同步時間戳的數(shù)據(jù)，是車輛實現(xiàn)高精度感知、定位、決策與規(guī)劃的核心前提。正因如此，在自動駕駛數(shù)據(jù)采集系統(tǒng)中，傳感器與主控單元之間通常會采用(g) PTP 協(xié)議，以保障多傳感器的硬件時間同步。
然而和客戶對接過程中，客戶普遍反饋在實際開發(fā)過程中，要實現(xiàn)單個或多個傳感器與主控平臺的精準(zhǔn)時間同步，往往會面臨時間同步精度不足、多傳感器時間戳不統(tǒng)一、系統(tǒng)部署流程復(fù)雜、數(shù)據(jù)質(zhì)量難以管控等一系列問題。
康謀長期致力于多傳感器數(shù)據(jù)采集方案開發(fā)，在解決客戶問題的實踐中，積累了應(yīng)對上述時間同步問題的豐富經(jīng)驗。本文針對 PTP 時間同步協(xié)議在傳感器與主控平臺間的應(yīng)用，分享相關(guān)的實踐案例與技術(shù)經(jīng)驗，和大家一起討論學(xué)習(xí)。
02 相機(jī)與工控機(jī)時間同步
PTP時間同步體系
以相機(jī)和工控機(jī)實現(xiàn)PTP時間同步部署為例，相機(jī)采集端口采集用以太網(wǎng)接口(支持PTP)，工控機(jī)對應(yīng)采用以太網(wǎng)接口(支持PTP)，以此搭建基礎(chǔ)的同步硬件鏈路。此外，激光雷達(dá)通常采用車載以太網(wǎng)（支持 (g) PTP 協(xié)議）完成時間同步，其實現(xiàn)思路與部署邏輯和本案例中的相機(jī)方案同理。
PTP時間同步可以簡單劃分為四層結(jié)構(gòu)：
①硬件層：依托網(wǎng)卡 PHC（Precision Hardware Clock）硬件時鐘，在數(shù)據(jù)包收發(fā)的物理層 / 數(shù)據(jù)鏈路層邊界直接打上時間戳。可規(guī)避軟件協(xié)議棧的延遲干擾，為整個同步體系提供納秒級的硬件時間基準(zhǔn)。
②協(xié)議層：基于 IEEE 1588 PTP 協(xié)議，通過 Sync/Follow-Up 和 Delay_Req/Delay_Resp 兩組核心消息對實現(xiàn)主從同步。
展開 據(jù)外媒報道，高端智能電動汽車品牌拜騰（BYTON）宣布，將與pmdtechnologies ag公司合作，在其首輛量產(chǎn)車型M-Byte SUV的車內(nèi)手勢控制攝像系統(tǒng)（in-car gesture control camera system）中安裝pmdtechnologies的3D飛行時間傳感器（3D Time-of-Flight sensor）。該攝像系統(tǒng)將用于運(yùn)行M-Byte SUV的48英寸共享全面屏（SED）。
拜騰的產(chǎn)品線定位為下一代智能設(shè)備，融合了先進(jìn)數(shù)字技術(shù)，為顧客提供智能、安全、舒適和環(huán)保的駕駛和移動出行體驗。M-Byte是一輛中型電動SUV，也是拜騰的首款車型，將于2019年底投產(chǎn)。
pmdtechnologies ag.公司首席執(zhí)行官Bernd Buxbaum博士表示：“隨著車輛的功能變得越來越多，自然交互成為了簡化人機(jī)界面的重要工具。拜騰是行業(yè)內(nèi)的重要創(chuàng)新者之一，與其合作使pmd公司能夠展示我們?nèi)照?D傳感器的潛力，這是其他3D技術(shù)無法做到的。”
pmdtechnologies ag公司與英飛凌技術(shù)公司（Infineon Technologies AG）聯(lián)合研發(fā)的3D飛行時間傳感器已經(jīng)用于智能手機(jī)、機(jī)器人、VR/AR頭顯以及現(xiàn)在的車輛中。在拜騰的M-Byte車型中，飛行時間傳感器（ToF sensor）可讓汽車乘客利用手勢接聽手機(jī)，或是通過共享全面屏播放最喜歡的音樂。
pmd公司的3D飛行時間傳感器安裝在M-Byte攝像頭的上方，有一組照明燈，可不斷地向駕駛艙發(fā)射看不見的光線。該飛行時間傳感器測量攝像頭光線從物體和人（無論是靜止還是移動的）身上反彈的時間，從而實現(xiàn)了車內(nèi)手勢控制攝像系統(tǒng)。
展開 
多傳感器時間對齊的相關(guān)專題、標(biāo)簽、搜索
多傳感器時間對齊的最新內(nèi)容
在精密氣體流量控制領(lǐng)域，響應(yīng)時間是衡量設(shè)備性能的核心指標(biāo)，它直接決定了工藝的效率和產(chǎn)品的良率，對于氣體質(zhì)量流量控制器（MFC）而言，響應(yīng)時間并非一個固定值，而是通常在150毫秒到2秒之間，具體時長取決于設(shè)備型號、技術(shù)原理和應(yīng)用場景的嚴(yán)苛要求。
布瑯軻鍶特-氣體質(zhì)量流量控制器：https://www.bronkhorst-china.com/
隨著自動駕駛技術(shù)的迭代升級，商用車ADAS的研發(fā)進(jìn)程已成為行業(yè)焦點。近期，在和眾多商用車ADAS研發(fā)客戶的溝通過程中，我們觀察到了一些被頻繁提到的客戶需求和場景痛點，針對于此，本文為該類客戶量身定制了一套高性能商用車ADAS多傳感器數(shù)據(jù)采集方案。
本文將從客戶的實際痛點出發(fā)，詳細(xì)拆解如何在復(fù)雜工況、多車型適配等需求下，實現(xiàn)高精度、多傳感器的數(shù)據(jù)融合與采集。
一、客戶需求與場景痛點
不同于乘用車
01 引言
自動駕駛車輛行駛過程中，多傳感器（相機(jī)、激光雷達(dá)等）采集的帶有精準(zhǔn)同步時間戳的數(shù)據(jù)，是車輛實現(xiàn)高精度感知、定位、決策與規(guī)劃的核心前提。正因如此，在自動駕駛數(shù)據(jù)采集系統(tǒng)中，傳感器與主控單元之間通常會采用(g) PTP 協(xié)議，以保障多傳感器的硬件時間同步。
然而和客戶對接過程中，客戶普遍反饋在實際開發(fā)過程中，要實現(xiàn)單個或多個傳感器與主控平臺的精準(zhǔn)時間同步，往往會面臨時間同步精度不足
高校科研多傳感器時間同步方案6個月前
<h2><strong>1）引言</strong></h2><p>在<strong>高校自動駕駛實驗室</strong>里，團(tuán)隊可能常以 <strong>BEV（Bird’s-Eye View）感知架構(gòu)</strong>為研究主線。旨在通過相機(jī)陣列和激光雷達(dá)的數(shù)據(jù)，在空間上重建統(tǒng)一的車周環(huán)境，為下游檢測、分割提供高精度“語義地圖”。然而，一旦相機(jī)間的時間同步存在<strong>幾十毫秒及以上的誤差
01 引言
隨著自動駕駛技術(shù)的飛速發(fā)展，仿真測試已成為替代成本高昂且充滿風(fēng)險的道路測試的關(guān)鍵環(huán)節(jié)。它能夠在虛擬環(huán)境中模擬各種復(fù)雜的交通場景和極端天氣，極大地加速了自動駕駛系統(tǒng)的開發(fā)與驗證進(jìn)程。然而，一個常被忽視的問題正悄然侵蝕著仿真測試的可信度——非確定性，即仿真測試過程中因核心引擎或其他因素導(dǎo)致的隨機(jī)性。
圖1 aiSim多傳感器融合示例
目前，許多市面上的仿真軟件
圖1：PSB+QX550
二、核心技術(shù)特性
1、多傳感器融合時間對齊：硬同步與全域協(xié)同
PSB+QX550 方案通過XTSS 服務(wù)實現(xiàn)跨設(shè)備的亞微秒級時間同步，其核心由 CTSS（Cluster Time Synchronization Service）和 PTSS（Platform Time Synchronization Service）組成：
（1）PTSS 平臺同步：利用硬件時間戳技術(shù)
在海洋監(jiān)測領(lǐng)域，基于無人艇能夠?qū)崿F(xiàn)高效、實時、自動化的海洋數(shù)據(jù)采集，從而為海洋環(huán)境保護(hù)、資源開發(fā)等提供有力支持。其中，無人艇的控制算法訓(xùn)練往往需要大量高質(zhì)量的數(shù)據(jù)支持。然而，海洋數(shù)據(jù)采集也面臨數(shù)據(jù)噪聲和誤差、數(shù)據(jù)融合與協(xié)同和復(fù)雜海洋環(huán)境適應(yīng)等諸多挑戰(zhàn)，制約著無人艇技術(shù)的發(fā)展。
針對這些挑戰(zhàn)，我們探索并推出一套基于多傳感器融合的海洋數(shù)據(jù)采集系統(tǒng)，能夠高效地采集和處理海洋環(huán)境中的多維度數(shù)據(jù)，為無人艇的自主航行和控制算法訓(xùn)練提供高質(zhì)量的數(shù)據(jù)支持
在汽車行業(yè)邁向智能化、自動化的今天，自動駕駛技術(shù)也在快速發(fā)展。為了進(jìn)一步讓自動駕駛更加“智能化”，像老師傅一樣進(jìn)行開車，離不開對車輛周圍環(huán)境的全面認(rèn)識。
面對復(fù)雜的感知任務(wù)，單一傳感器的局限性逐漸顯現(xiàn)，比如相機(jī)對目標(biāo)的顏色和紋理比較敏感，但易受光照、天氣條件的影響。LiDAR以獲得目標(biāo)精確的3D信息，但無法獲得目標(biāo)紋理，易產(chǎn)生噪點等情況。多傳感器數(shù)據(jù)融合技術(shù)應(yīng)時而生，通過整合不同傳感器的優(yōu)勢
一、摘要
近年來，深度學(xué)習(xí)技術(shù)在涉及高維非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域展現(xiàn)出了最先進(jìn)的性能，如計算機(jī)視覺、語音、自然語言處理等方面，并且開始涉及更大、更復(fù)雜的多模態(tài)信息問題。
不同傳感器在進(jìn)行同一實驗任務(wù)時，針對產(chǎn)生的同一現(xiàn)象進(jìn)行觀測，采集的數(shù)據(jù)構(gòu)成被測對象的多模態(tài)信息。多模態(tài)信息可以實現(xiàn)不同傳感器之間數(shù)據(jù)互補(bǔ)，并在相同學(xué)習(xí)任務(wù)獲取更豐富的特征，從而實現(xiàn)比單一模態(tài)更好的性能。
在自動駕駛領(lǐng)域，多模態(tài)數(shù)據(jù)通常包括安裝在車輛上的多個傳感器
隨著自動駕駛算法等級的不斷提高，各開發(fā)商的傳感器布置方案也越來越豐富，最典型的為多V、多R及多L的方案。而在對多種類，多數(shù)量的傳感器進(jìn)行物理模型仿真時，會占用大量的計算資源和網(wǎng)絡(luò)通訊資源，同時仿真的效果還受到PCIe總線帶寬及顯卡的接口數(shù)量限制。
基于VTD的多物理傳感器自動駕駛系統(tǒng)仿真方案，采用VTD的主從機(jī)布置方式，將VTD軟件安裝在主機(jī)Master上，從機(jī)slave上只安裝運(yùn)行
