多傳感器時(shí)間同步
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2025-11-17
多傳感器時(shí)間同步的實(shí)例教程
</p><h1><strong>3）方案概述及科研價(jià)值</strong></h1><h3><strong>3.1方案概述</strong></h3><p><strong>多源異構(gòu)傳感器納秒級(jí)時(shí)間同步</strong>解決方案（簡(jiǎn)稱(chēng)<strong>多傳感器時(shí)間同步方案</strong>）是一套基于<strong> XTSS 服務(wù)</strong>的完整時(shí)間同步體系：以 DATALynx ATX4 或 BRICK2 作為 PTP Grandmaster（主時(shí)鐘），通過(guò) IEEE 1588 PTP 高精度協(xié)議<strong>抵消</strong>各傳感器獨(dú)立晶振的 ppm 級(jí)<strong>溫漂誤差</strong>；</p><p>同時(shí)借助 QX550、ProFrame3 等硬件<strong>直接對(duì)接傳感器物理層</strong>，在數(shù)據(jù)離開(kāi)傳感器的瞬間完成時(shí)間戳記錄，規(guī)避‘滯后時(shí)間戳’問(wèn)題；并通過(guò)硬件觸發(fā)替代軟件觸發(fā)，減少操作系統(tǒng)調(diào)度抖動(dòng)，最終構(gòu)建納秒級(jí)精度的統(tǒng)一時(shí)間基準(zhǔn)，通過(guò) ADTF/ROS 等軟件框架貫穿數(shù)據(jù)處理鏈路，實(shí)現(xiàn)從<strong>微秒級(jí)‘軟件對(duì)齊’</strong>到<strong>納秒級(jí)‘硬件同步’</strong>的工程跨越。
展開(kāi) 01 引言
自動(dòng)駕駛車(chē)輛行駛過(guò)程中，多傳感器（相機(jī)、激光雷達(dá)等）采集的帶有精準(zhǔn)同步時(shí)間戳的數(shù)據(jù)，是車(chē)輛實(shí)現(xiàn)高精度感知、定位、決策與規(guī)劃的核心前提。正因如此，在自動(dòng)駕駛數(shù)據(jù)采集系統(tǒng)中，傳感器與主控單元之間通常會(huì)采用(g) PTP 協(xié)議，以保障多傳感器的硬件時(shí)間同步。
然而和客戶(hù)對(duì)接過(guò)程中，客戶(hù)普遍反饋在實(shí)際開(kāi)發(fā)過(guò)程中，要實(shí)現(xiàn)單個(gè)或多個(gè)傳感器與主控平臺(tái)的精準(zhǔn)時(shí)間同步，往往會(huì)面臨時(shí)間同步精度不足、多傳感器時(shí)間戳不統(tǒng)一、系統(tǒng)部署流程復(fù)雜、數(shù)據(jù)質(zhì)量難以管控等一系列問(wèn)題。
康謀長(zhǎng)期致力于多傳感器數(shù)據(jù)采集方案開(kāi)發(fā)，在解決客戶(hù)問(wèn)題的實(shí)踐中，積累了應(yīng)對(duì)上述時(shí)間同步問(wèn)題的豐富經(jīng)驗(yàn)。本文針對(duì) PTP 時(shí)間同步協(xié)議在傳感器與主控平臺(tái)間的應(yīng)用，分享相關(guān)的實(shí)踐案例與技術(shù)經(jīng)驗(yàn)，和大家一起討論學(xué)習(xí)。
02 相機(jī)與工控機(jī)時(shí)間同步
PTP時(shí)間同步體系
以相機(jī)和工控機(jī)實(shí)現(xiàn)PTP時(shí)間同步部署為例，相機(jī)采集端口采集用以太網(wǎng)接口(支持PTP)，工控機(jī)對(duì)應(yīng)采用以太網(wǎng)接口(支持PTP)，以此搭建基礎(chǔ)的同步硬件鏈路。此外，激光雷達(dá)通常采用車(chē)載以太網(wǎng)（支持 (g) PTP 協(xié)議）完成時(shí)間同步，其實(shí)現(xiàn)思路與部署邏輯和本案例中的相機(jī)方案同理。
PTP時(shí)間同步可以簡(jiǎn)單劃分為四層結(jié)構(gòu)：
①硬件層：依托網(wǎng)卡 PHC（Precision Hardware Clock）硬件時(shí)鐘，在數(shù)據(jù)包收發(fā)的物理層 / 數(shù)據(jù)鏈路層邊界直接打上時(shí)間戳?？梢?guī)避軟件協(xié)議棧的延遲干擾，為整個(gè)同步體系提供納秒級(jí)的硬件時(shí)間基準(zhǔn)。
②協(xié)議層：基于 IEEE 1588 PTP 協(xié)議，通過(guò) Sync/Follow-Up 和 Delay_Req/Delay_Resp 兩組核心消息對(duì)實(shí)現(xiàn)主從同步。
展開(kāi) 圖2：系統(tǒng)集成
三、數(shù)據(jù)采集
在BEV Camera數(shù)據(jù)采集方案中，難點(diǎn)在于如何同步多相機(jī)的采集動(dòng)作、確保數(shù)據(jù)的高精度時(shí)間同步以及高效傳輸。因此，在整個(gè)軟件方面，我們采用ROS+PEAK SDK方案進(jìn)行深度集成，實(shí)現(xiàn)了多相機(jī)的參數(shù)配置、數(shù)據(jù)采集與傳輸。
為了更靈活應(yīng)對(duì)實(shí)際采集環(huán)境需求，對(duì)相機(jī)（如曝光時(shí)間、幀率和分辨率等）參數(shù)進(jìn)行了統(tǒng)一管理和存儲(chǔ)，這些參數(shù)可在節(jié)點(diǎn)啟動(dòng)時(shí)通過(guò)配置文件動(dòng)態(tài)加載，為相機(jī)的初始化提供了靈活性。
圖3：相機(jī)參數(shù)配置
為實(shí)現(xiàn)多相機(jī)的同步采集和高效傳輸，我們利用了ROS的多線程和節(jié)點(diǎn)管理功能。通過(guò)為每個(gè)相機(jī)創(chuàng)建獨(dú)立的采集線程，并啟動(dòng)采集循環(huán)，確保了每個(gè)相機(jī)的采集過(guò)程獨(dú)立且高效。引入全局控制信號(hào)與信號(hào)處理機(jī)制，確保了統(tǒng)一管理所有相機(jī)的采集和同步結(jié)束狀態(tài)。
圖4：相機(jī)實(shí)時(shí)可視化
四、時(shí)間同步
為了實(shí)現(xiàn)多相機(jī)的時(shí)間同步，一般有兩種方式：軟時(shí)間同步和硬件時(shí)間同步。軟時(shí)間同步主要依賴(lài)于軟件層面的算法和協(xié)議來(lái)實(shí)現(xiàn)時(shí)間同步。其精度通常在微秒級(jí)別，適用于對(duì)時(shí)間同步精度要求不是較高的場(chǎng)景。
圖5：多相機(jī)軟件時(shí)間同步
為了應(yīng)對(duì)時(shí)間同步精度要求較高的采集場(chǎng)景，如自動(dòng)駕駛和高精度測(cè)量等。在BEV Camera數(shù)據(jù)采集方案中，進(jìn)一步支持相機(jī)進(jìn)行硬件時(shí)間同步。通過(guò)XTSS軟件可以有效管理數(shù)采平臺(tái)的時(shí)間同步功能，能夠快速輕便配備各個(gè)傳感器的時(shí)間同步配置。
圖6：XTSS 時(shí)間同步管理
通過(guò)GPS模塊提供高精度的時(shí)間基準(zhǔn)，并利用支持硬件時(shí)間戳的以太網(wǎng)接口直接捕獲數(shù)據(jù)包的時(shí)間戳。其時(shí)間同步精度可以達(dá)到納秒級(jí)別，具備高穩(wěn)定性，不受軟件和網(wǎng)絡(luò)延遲影響。
展開(kāi) TOF是飛行時(shí)間（Time of Flight）技術(shù)的縮寫(xiě)，即傳感器發(fā)出經(jīng)調(diào)制的近紅外光，遇物體后反射，傳感器通過(guò)計(jì)算光線發(fā)射和反射時(shí)間差或相位差，來(lái)?yè)Q算被拍攝景物的距離，以產(chǎn)生深度信息，此外再結(jié)合傳統(tǒng)的相機(jī)拍攝，就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現(xiàn)出來(lái)。根據(jù)原理來(lái)看,ToF技術(shù)早期的應(yīng)用相對(duì)簡(jiǎn)單,就是用來(lái)測(cè)距。
從去年開(kāi)始,一票傳感器廠商和手機(jī)廠商的目光都投向了ToF傳感器。直到今年,英飛凌、AMS等傳感器廠商,以及蘋(píng)果、華為、三星等手機(jī)廠商仍在不斷推進(jìn)ToF傳感器的技術(shù)和應(yīng)用升級(jí),可以推測(cè),ToF傳感器不僅是火了,它已經(jīng)來(lái)了。
但是,隨著ToF技術(shù)的應(yīng)用不斷拓寬,ToF傳感器進(jìn)入人們的視野主要是智能手機(jī)和平板領(lǐng)域,并且主要集中在3D ToF圖像傳感器,由于ToF傳感器目前最主要的是應(yīng)用在成像領(lǐng)域。
在ToF傳感器逐漸成為智能手機(jī)標(biāo)配的時(shí)候,多攝像頭的目的就逐漸浮出水面,可用于多場(chǎng)景的識(shí)別應(yīng)用,例如前置及后置鏡頭用于手勢(shì)識(shí)別或者安全支付的臉部3D辨識(shí),以及AR/VR也是ToF在3D感知上的應(yīng)用方向。
圖2可以看到,目前ToF傳感器在細(xì)分領(lǐng)域的市場(chǎng)份額,主要還是以消費(fèi)電子和汽車(chē)為主。 但是我們注意到ToF圖像傳感器除了在消費(fèi)電子上仍然有很大的應(yīng)用前景,其在物聯(lián)網(wǎng)領(lǐng)域潛力也具有被挖掘的潛力。例如：
智能家居、智慧安防、智慧零售、人流監(jiān)控,ToF傳感器用于識(shí)別和跟蹤人體,不僅僅是現(xiàn)在的認(rèn)臉模式,通過(guò)深度信息可以提高識(shí)別準(zhǔn)確度;在自動(dòng)駕駛/ 車(chē)內(nèi)感知領(lǐng)域,ToF 傳感器也可以成為車(chē)載激光雷達(dá)、車(chē)內(nèi)人體識(shí)別、車(chē)內(nèi)手勢(shì)識(shí)別的重要元器件等。目前,也有不少企業(yè)將ToF傳感器植入AGV和機(jī)器人手臂當(dāng)中,用于精準(zhǔn)導(dǎo)航和實(shí)時(shí)避障。
展開(kāi) 我們可以在每種傳感器中找到諸如此類(lèi)的優(yōu)缺點(diǎn)。
傳感器融合這一想法的偉大之處在于獲得不同傳感器和傳感器種類(lèi)的輸入內(nèi)容，并且使用組合在一起的信息來(lái)更加準(zhǔn)確地感知周?chē)沫h(huán)境。相對(duì)于獨(dú)立系統(tǒng)，這樣可以做出更好、更安全的決策。雷達(dá)也許不具有光傳感器所具有的分辨率，不過(guò)它在測(cè)距和穿透雨、雪和濃霧方面具有很大優(yōu)勢(shì)。這些天氣條件或光照不足的惡劣情況不利于攝像頭發(fā)揮作用，不過(guò)攝像頭能夠分辨顏色（可以想一想街道指示牌和路標(biāo)），并且具有很高的分辨率。目前路面上圖像傳感器的分辨率已經(jīng)達(dá)到1百萬(wàn)像素。在未來(lái)幾年內(nèi)，圖像傳感器的發(fā)展趨勢(shì)將是2百萬(wàn)，甚至4百萬(wàn)像素。
雷達(dá)和攝像頭是兩項(xiàng)傳感器技術(shù)完美融合、互為補(bǔ)充的典范。采用這種方法的融合系統(tǒng)所實(shí)現(xiàn)的功能要遠(yuǎn)超這些獨(dú)立系統(tǒng)能夠?qū)崿F(xiàn)的功能總和。使用不同的傳感器種類(lèi)可以在某一種傳感器全都出現(xiàn)故障的環(huán)境條件下，額外提供一定冗余度。這種錯(cuò)誤或故障可能是由自然原因（諸如一團(tuán)濃霧）或是人為現(xiàn)象（例如對(duì)攝像頭或雷達(dá)的電子干擾或人為干擾）導(dǎo)致。即使是在一個(gè)傳感器失效的情況下，這樣的傳感器融合系統(tǒng)也可以保持某些基本或緊急的功能。完全借助報(bào)警功能，或者讓駕駛員時(shí)刻做好準(zhǔn)備，從而接管對(duì)車(chē)輛的控制，系統(tǒng)故障也許就不那么嚴(yán)重了。然而，高度和完全自動(dòng)駕駛功能必須提供充足的時(shí)間讓駕駛員重新獲得對(duì)車(chē)輛的控制。在這段駕駛員接管車(chē)輛控制之前的時(shí)間范圍內(nèi)，控制系統(tǒng)需要保持對(duì)車(chē)輛最低限度的控制。
傳感器融合系統(tǒng)示例
傳感器融合的復(fù)雜程度有所不同，并且數(shù)據(jù)的類(lèi)型也不一樣。兩個(gè)基本的傳感器融合示例是：a）后視攝像頭加上超聲波測(cè)距；b）前方攝像頭加上多模式前置雷達(dá)——參見(jiàn)圖2?，F(xiàn)在，我們可以通過(guò)對(duì)現(xiàn)有系統(tǒng)進(jìn)行輕微更改和/或通過(guò)增加一個(gè)單獨(dú)的傳感器融合控制單元來(lái)對(duì)其進(jìn)行實(shí)現(xiàn)。
展開(kāi) 
多傳感器時(shí)間同步的相關(guān)專(zhuān)題、標(biāo)簽、搜索
多傳感器時(shí)間同步的最新內(nèi)容
在精密氣體流量控制領(lǐng)域，響應(yīng)時(shí)間是衡量設(shè)備性能的核心指標(biāo)，它直接決定了工藝的效率和產(chǎn)品的良率，對(duì)于氣體質(zhì)量流量控制器（MFC）而言，響應(yīng)時(shí)間并非一個(gè)固定值，而是通常在150毫秒到2秒之間，具體時(shí)長(zhǎng)取決于設(shè)備型號(hào)、技術(shù)原理和應(yīng)用場(chǎng)景的嚴(yán)苛要求。
布瑯軻鍶特-氣體質(zhì)量流量控制器：https://www.bronkhorst-china.com/
隨著自動(dòng)駕駛技術(shù)的迭代升級(jí)，商用車(chē)ADAS的研發(fā)進(jìn)程已成為行業(yè)焦點(diǎn)。近期，在和眾多商用車(chē)ADAS研發(fā)客戶(hù)的溝通過(guò)程中，我們觀察到了一些被頻繁提到的客戶(hù)需求和場(chǎng)景痛點(diǎn)，針對(duì)于此，本文為該類(lèi)客戶(hù)量身定制了一套高性能商用車(chē)ADAS多傳感器數(shù)據(jù)采集方案。
本文將從客戶(hù)的實(shí)際痛點(diǎn)出發(fā)，詳細(xì)拆解如何在復(fù)雜工況、多車(chē)型適配等需求下，實(shí)現(xiàn)高精度、多傳感器的數(shù)據(jù)融合與采集。
一、客戶(hù)需求與場(chǎng)景痛點(diǎn)
不同于乘用車(chē)
基于PTP，如何做好多傳感器微秒級(jí)時(shí)間同步？4個(gè)月前
正因如此，在自動(dòng)駕駛數(shù)據(jù)采集系統(tǒng)中，傳感器與主控單元之間通常會(huì)采用(g) PTP 協(xié)議，以保障多傳感器的硬件時(shí)間同步。
然而和客戶(hù)對(duì)接過(guò)程中，客戶(hù)普遍反饋在實(shí)際開(kāi)發(fā)過(guò)程中，要實(shí)現(xiàn)單個(gè)或多個(gè)傳感器與主控平臺(tái)的精準(zhǔn)時(shí)間同步，往往會(huì)面臨時(shí)間同步精度不足、多傳感器時(shí)間戳不統(tǒng)一、系統(tǒng)部署流程復(fù)雜、數(shù)據(jù)質(zhì)量難以管控等一系列問(wèn)題。
高?？蒲?em>多傳感器時(shí)間同步方案6個(gè)月前
</p><p>本文將拆解<strong>時(shí)間同步核心難題</strong>，介紹<strong>多傳感器時(shí)間同步方案</strong>概況與<strong>應(yīng)用價(jià)值</strong>，旨在幫助高校團(tuán)隊(duì)實(shí)現(xiàn)高質(zhì)量、可復(fù)現(xiàn)、省算力的多傳感器時(shí)間同步落地方案。
timestamp：時(shí)間戳（單位：微秒），用于多傳感器時(shí)間同步。
is_key_frame：布爾值，指示該幀是否為關(guān)鍵幀。
next / prev：分別指向下一幀和前一幀的 token，實(shí)現(xiàn)時(shí)序關(guān)聯(lián)。
01 引言
隨著自動(dòng)駕駛技術(shù)的飛速發(fā)展，仿真測(cè)試已成為替代成本高昂且充滿(mǎn)風(fēng)險(xiǎn)的道路測(cè)試的關(guān)鍵環(huán)節(jié)。它能夠在虛擬環(huán)境中模擬各種復(fù)雜的交通場(chǎng)景和極端天氣，極大地加速了自動(dòng)駕駛系統(tǒng)的開(kāi)發(fā)與驗(yàn)證進(jìn)程。然而，一個(gè)常被忽視的問(wèn)題正悄然侵蝕著仿真測(cè)試的可信度——非確定性，即仿真測(cè)試過(guò)程中因核心引擎或其他因素導(dǎo)致的隨機(jī)性。
圖1 aiSim多傳感器融合示例
目前，許多市面上的仿真軟件
2、時(shí)間同步
方案通過(guò)硬件觸發(fā) + 軟件校準(zhǔn)實(shí)現(xiàn)多傳感器納秒級(jí)時(shí)間同步，確保時(shí)空融合精度：
（1）同步基準(zhǔn)統(tǒng)一：以國(guó)際原子時(shí)（TAI）為時(shí)間基準(zhǔn)，通過(guò)gPTP（通用精確時(shí)間協(xié)議）與 PPS（秒脈沖信號(hào)）實(shí)現(xiàn)系統(tǒng)級(jí)時(shí)間對(duì)齊。LiDAR采用gPTP 同步，Camera 通過(guò)采集卡 PPS 信號(hào)觸發(fā)，RTK 與 Radar 通過(guò) CAN Combo 的打上時(shí)間戳。
在海洋監(jiān)測(cè)領(lǐng)域，基于無(wú)人艇能夠?qū)崿F(xiàn)高效、實(shí)時(shí)、自動(dòng)化的海洋數(shù)據(jù)采集，從而為海洋環(huán)境保護(hù)、資源開(kāi)發(fā)等提供有力支持。其中，無(wú)人艇的控制算法訓(xùn)練往往需要大量高質(zhì)量的數(shù)據(jù)支持。然而，海洋數(shù)據(jù)采集也面臨數(shù)據(jù)噪聲和誤差、數(shù)據(jù)融合與協(xié)同和復(fù)雜海洋環(huán)境適應(yīng)等諸多挑戰(zhàn)，制約著無(wú)人艇技術(shù)的發(fā)展。
針對(duì)這些挑戰(zhàn)，我們探索并推出一套基于多傳感器融合的海洋數(shù)據(jù)采集系統(tǒng)，能夠高效地采集和處理海洋環(huán)境中的多維度數(shù)據(jù)，為無(wú)人艇的自主航行和控制算法訓(xùn)練提供高質(zhì)量的數(shù)據(jù)支持
隨著自動(dòng)駕駛技術(shù)的快速發(fā)展，車(chē)輛準(zhǔn)確感知周?chē)h(huán)境的能力變得至關(guān)重要。BEV（Bird's-Eye-View，鳥(niǎo)瞰圖）感知技術(shù)，以其獨(dú)特的視角和強(qiáng)大的數(shù)據(jù)處理能力，正成為自動(dòng)駕駛領(lǐng)域的一大研究熱點(diǎn)。
一、BEV感知技術(shù)概述
BEV感知技術(shù)，是一種從鳥(niǎo)瞰圖視角（俯視圖）出發(fā)的環(huán)境感知方法。與傳統(tǒng)的正視圖相比，BEV視角具有尺度變化小、視角遮擋少的顯著優(yōu)勢(shì)，有助于網(wǎng)絡(luò)對(duì)目標(biāo)特征的一致性表達(dá)?；谶@樣的優(yōu)勢(shì)
關(guān)于具體做法，這里舉一個(gè)簡(jiǎn)單的例子：
1、相機(jī)與LiDAR融合
在實(shí)現(xiàn)激光雷達(dá)與相機(jī)標(biāo)定、運(yùn)動(dòng)補(bǔ)償和時(shí)間同步后，通過(guò)多傳感器深度融合，執(zhí)行幾何變換將三維點(diǎn)云數(shù)據(jù)投影至二維圖像平面，實(shí)現(xiàn)物理空間到視覺(jué)空間的映射。最后，整合深度信息與圖像像素?cái)?shù)據(jù)，形成深度標(biāo)簽圖像，從而為自動(dòng)駕駛車(chē)輛的環(huán)境感知系統(tǒng)提供更為豐富和精確的數(shù)據(jù)支持。
