多傳感器時間同步的案例
高校科研多傳感器時間同步方案
</p><h1><strong>3）方案概述及科研價值</strong></h1><h3><strong>3.1方案概述</strong></h3><p><strong>多源異構傳感器納秒級時間同步</strong>解決方案（簡稱<strong>多傳感器時間同步方案</strong>）是一套基于<strong> XTSS 服務</strong>的完整時間同步體系：以 DATALynx ATX4 或 BRICK2 作為 PTP Grandmaster（主時鐘），通過 IEEE 1588 PTP 高精度協議<strong>抵消</strong>各傳感器獨立晶振的 ppm 級<strong>溫漂誤差</strong>；</p><p>同時借助 QX550、ProFrame3 等硬件<strong>直接對接傳感器物理層</strong>，在數據離開傳感器的瞬間完成時間戳記錄，規避‘滯后時間戳’問題；并通過硬件觸發替代軟件觸發，減少操作系統調度抖動，最終構建納秒級精度的統一時間基準，通過 ADTF/ROS 等軟件框架貫穿數據處理鏈路，實現從<strong>微秒級‘軟件對齊’</strong>到<strong>納秒級‘硬件同步’</strong>的工程跨越。
展開 基于PTP，如何做好多傳感器微秒級時間同步？
01 引言
自動駕駛車輛行駛過程中，多傳感器（相機、激光雷達等）采集的帶有精準同步時間戳的數據，是車輛實現高精度感知、定位、決策與規劃的核心前提。正因如此，在自動駕駛數據采集系統中，傳感器與主控單元之間通常會采用(g) PTP 協議，以保障多傳感器的硬件時間同步。
然而和客戶對接過程中，客戶普遍反饋在實際開發過程中，要實現單個或多個傳感器與主控平臺的精準時間同步，往往會面臨時間同步精度不足、多傳感器時間戳不統一、系統部署流程復雜、數據質量難以管控等一系列問題。
康謀長期致力于多傳感器數據采集方案開發，在解決客戶問題的實踐中，積累了應對上述時間同步問題的豐富經驗。本文針對 PTP 時間同步協議在傳感器與主控平臺間的應用，分享相關的實踐案例與技術經驗，和大家一起討論學習。
02 相機與工控機時間同步
PTP時間同步體系
以相機和工控機實現PTP時間同步部署為例，相機采集端口采集用以太網接口(支持PTP)，工控機對應采用以太網接口(支持PTP)，以此搭建基礎的同步硬件鏈路。此外，激光雷達通常采用車載以太網（支持 (g) PTP 協議）完成時間同步，其實現思路與部署邏輯和本案例中的相機方案同理。
PTP時間同步可以簡單劃分為四層結構：
①硬件層：依托網卡 PHC（Precision Hardware Clock）硬件時鐘，在數據包收發的物理層 / 數據鏈路層邊界直接打上時間戳。可規避軟件協議棧的延遲干擾，為整個同步體系提供納秒級的硬件時間基準。
②協議層：基于 IEEE 1588 PTP 協議，通過 Sync/Follow-Up 和 Delay_Req/Delay_Resp 兩組核心消息對實現主從同步。
展開 康謀方案 | BEV感知技術：多相機數據采集與高精度時間同步方案
圖2：系統集成
三、數據采集
在BEV Camera數據采集方案中，難點在于如何同步多相機的采集動作、確保數據的高精度時間同步以及高效傳輸。因此，在整個軟件方面，我們采用ROS+PEAK SDK方案進行深度集成，實現了多相機的參數配置、數據采集與傳輸。
為了更靈活應對實際采集環境需求，對相機（如曝光時間、幀率和分辨率等）參數進行了統一管理和存儲，這些參數可在節點啟動時通過配置文件動態加載，為相機的初始化提供了靈活性。
圖3：相機參數配置
為實現多相機的同步采集和高效傳輸，我們利用了ROS的多線程和節點管理功能。通過為每個相機創建獨立的采集線程，并啟動采集循環，確保了每個相機的采集過程獨立且高效。引入全局控制信號與信號處理機制，確保了統一管理所有相機的采集和同步結束狀態。
圖4：相機實時可視化
四、時間同步
為了實現多相機的時間同步，一般有兩種方式：軟時間同步和硬件時間同步。軟時間同步主要依賴于軟件層面的算法和協議來實現時間同步。其精度通常在微秒級別，適用于對時間同步精度要求不是較高的場景。
圖5：多相機軟件時間同步
為了應對時間同步精度要求較高的采集場景，如自動駕駛和高精度測量等。在BEV Camera數據采集方案中，進一步支持相機進行硬件時間同步。通過XTSS軟件可以有效管理數采平臺的時間同步功能，能夠快速輕便配備各個傳感器的時間同步配置。
圖6：XTSS 時間同步管理
通過GPS模塊提供高精度的時間基準，并利用支持硬件時間戳的以太網接口直接捕獲數據包的時間戳。其時間同步精度可以達到納秒級別，具備高穩定性，不受軟件和網絡延遲影響。
展開 走進飛行時間傳感技術揭秘TOF傳感器工作原理及應用領域
TOF是飛行時間（Time of Flight）技術的縮寫，即傳感器發出經調制的近紅外光，遇物體后反射，傳感器通過計算光線發射和反射時間差或相位差，來換算被拍攝景物的距離，以產生深度信息，此外再結合傳統的相機拍攝，就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現出來。根據原理來看,ToF技術早期的應用相對簡單,就是用來測距。
從去年開始,一票傳感器廠商和手機廠商的目光都投向了ToF傳感器。直到今年,英飛凌、AMS等傳感器廠商,以及蘋果、華為、三星等手機廠商仍在不斷推進ToF傳感器的技術和應用升級,可以推測,ToF傳感器不僅是火了,它已經來了。
但是,隨著ToF技術的應用不斷拓寬,ToF傳感器進入人們的視野主要是智能手機和平板領域,并且主要集中在3D ToF圖像傳感器,由于ToF傳感器目前最主要的是應用在成像領域。
在ToF傳感器逐漸成為智能手機標配的時候,多攝像頭的目的就逐漸浮出水面,可用于多場景的識別應用,例如前置及后置鏡頭用于手勢識別或者安全支付的臉部3D辨識,以及AR/VR也是ToF在3D感知上的應用方向。
圖2可以看到,目前ToF傳感器在細分領域的市場份額,主要還是以消費電子和汽車為主。 但是我們注意到ToF圖像傳感器除了在消費電子上仍然有很大的應用前景,其在物聯網領域潛力也具有被挖掘的潛力。例如：
智能家居、智慧安防、智慧零售、人流監控,ToF傳感器用于識別和跟蹤人體,不僅僅是現在的認臉模式,通過深度信息可以提高識別準確度;在自動駕駛/ 車內感知領域,ToF 傳感器也可以成為車載激光雷達、車內人體識別、車內手勢識別的重要元器件等。目前,也有不少企業將ToF傳感器植入AGV和機器人手臂當中,用于精準導航和實時避障。
展開 
技術探秘 | 自動駕駛汽車傳感器融合系統，及多傳感器數據融合算法淺析
我們可以在每種傳感器中找到諸如此類的優缺點。
傳感器融合這一想法的偉大之處在于獲得不同傳感器和傳感器種類的輸入內容，并且使用組合在一起的信息來更加準確地感知周圍的環境。相對于獨立系統，這樣可以做出更好、更安全的決策。雷達也許不具有光傳感器所具有的分辨率，不過它在測距和穿透雨、雪和濃霧方面具有很大優勢。這些天氣條件或光照不足的惡劣情況不利于攝像頭發揮作用，不過攝像頭能夠分辨顏色（可以想一想街道指示牌和路標），并且具有很高的分辨率。目前路面上圖像傳感器的分辨率已經達到1百萬像素。在未來幾年內，圖像傳感器的發展趨勢將是2百萬，甚至4百萬像素。
雷達和攝像頭是兩項傳感器技術完美融合、互為補充的典范。采用這種方法的融合系統所實現的功能要遠超這些獨立系統能夠實現的功能總和。使用不同的傳感器種類可以在某一種傳感器全都出現故障的環境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（諸如一團濃霧）或是人為現象（例如對攝像頭或雷達的電子干擾或人為干擾）導致。即使是在一個傳感器失效的情況下，這樣的傳感器融合系統也可以保持某些基本或緊急的功能。完全借助報警功能，或者讓駕駛員時刻做好準備，從而接管對車輛的控制，系統故障也許就不那么嚴重了。然而，高度和完全自動駕駛功能必須提供充足的時間讓駕駛員重新獲得對車輛的控制。在這段駕駛員接管車輛控制之前的時間范圍內，控制系統需要保持對車輛最低限度的控制。
傳感器融合系統示例
傳感器融合的復雜程度有所不同，并且數據的類型也不一樣。兩個基本的傳感器融合示例是：a）后視攝像頭加上超聲波測距；b）前方攝像頭加上多模式前置雷達——參見圖2。現在，我們可以通過對現有系統進行輕微更改和/或通過增加一個單獨的傳感器融合控制單元來對其進行實現。
展開 拜騰安裝pmd 3D飛行時間傳感器 實現車內手勢控制
據外媒報道，高端智能電動汽車品牌拜騰（BYTON）宣布，將與pmdtechnologies ag公司合作，在其首輛量產車型M-Byte SUV的車內手勢控制攝像系統（in-car gesture control camera system）中安裝pmdtechnologies的3D飛行時間傳感器（3D Time-of-Flight sensor）。該攝像系統將用于運行M-Byte SUV的48英寸共享全面屏（SED）。
拜騰的產品線定位為下一代智能設備，融合了先進數字技術，為顧客提供智能、安全、舒適和環保的駕駛和移動出行體驗。M-Byte是一輛中型電動SUV，也是拜騰的首款車型，將于2019年底投產。
pmdtechnologies ag.公司首席執行官Bernd Buxbaum博士表示：“隨著車輛的功能變得越來越多，自然交互成為了簡化人機界面的重要工具。拜騰是行業內的重要創新者之一，與其合作使pmd公司能夠展示我們全日照3D傳感器的潛力，這是其他3D技術無法做到的。”
pmdtechnologies ag公司與英飛凌技術公司（Infineon Technologies AG）聯合研發的3D飛行時間傳感器已經用于智能手機、機器人、VR/AR頭顯以及現在的車輛中。在拜騰的M-Byte車型中，飛行時間傳感器（ToF sensor）可讓汽車乘客利用手勢接聽手機，或是通過共享全面屏播放最喜歡的音樂。
pmd公司的3D飛行時間傳感器安裝在M-Byte攝像頭的上方，有一組照明燈，可不斷地向駕駛艙發射看不見的光線。該飛行時間傳感器測量攝像頭光線從物體和人（無論是靜止還是移動的）身上反彈的時間，從而實現了車內手勢控制攝像系統。
展開 多傳感器融合定位是否足夠安全？
我們沒有選擇使用優化器，因為BA-MSF實現以二進制形式發布，因此我們無法直接獲得其分析公式。對于我們分析中的給定傳感器數據跡線，存在多個可能的攻擊窗口，即前一個GPS數據和后一個GPS數據的間隙。對于每個攻擊窗口，我們迭代搜索可以使最大程度偏離
的
，這也是以前有關單源KF安全性的研究工作中使用的一種方法。根據我們的威脅模型，我們將對GPS欺騙數據的測量不確定性設置為BA-MSF中傳感器數據跡線的中值。
我們對兩種類型的傳感器數據跡線進行上述分析：（1）真實數據，以及（2）擬合的無噪聲數據。前者是通過在真實世界中駕駛AV時直接記錄MSF的輸入而獲得的，此類跡線的分析結果具有最高的真實性。但是我們可以執行的操作是有限的，由于不同傳感器數據之間存在相關性，我們無法輕易地修改傳感器數據；并且由于傳感器存在噪聲，分析可能不準確。因此，我們利用后者進行補充，其按照給定的駕駛軌跡合成MSF輸入，所有LiDAR定位和真實GPS信號定位都設置為真實位置，其測量不確定度設置為實際數據的中值，并根據駕駛軌跡擬合出IMU測量值。
實驗環境
我們使用官方Apollo AD系統中的BA-MSF實現代碼。
展開 自動駕駛多模態傳感器融合的綜述
多模態融合是感知自動駕駛系統的一項基本任務，最近引起了許多研究人員的興趣。然而，由于原始數據噪聲大、信息利用率低以及多模態傳感器的無對準，達到相當好的性能并非易事。
本文對現有的基于多模態自動駕駛感知任務方法進行了文獻綜述。
分析超過50篇論文，包括攝像頭和激光雷達，試圖解決目標檢測和語義分割任務。與傳統的融合模型分類方法不同，作者從融合階段的角度，通過更合理的分類法將融合模型分為兩大類，四小類。此外，研究了當前的融合方法，就潛在的研究機會展開討論。
最近，用于自動駕駛感知任務的多模態融合方法發展迅速，其從跨模態特征表示和更可靠的模態傳感器，到更復雜、更穩健的多模態融合深度學習模型和技術。然而，只有少數文獻綜述集中在多模態融合方法本身的方法論上，大多數文獻都遵循傳統規則，將其分為前融合、深度（特征）融合和后融合三大類，重點關注深度學習模型中融合特征的階段，無論是數據級、特征級還是提議級。首先，這種分類法沒有明確定義每個級別的特征表示。其次，它表明，激光雷達和攝像頭這兩個分支在處理過程中始終是對稱的，模糊了激光雷達分支中融合提議級特征和攝像頭分支中融合數據級特征的情況。綜上所述，傳統的分類法可能是直觀的，但對于總結最近出現的越來越多的多模態融合方法來說卻很落后，這使得研究人員無法從系統的角度對其進行研究和分析。
如圖是自動駕駛感知任務的示意圖：
深度學習模型僅限于輸入的表示。為了實現該模型，需要在數據輸入模型之前，通過一個復雜的特征提取器對原始數據進行預處理。
至于圖像分支，大多數現有方法保持與下游模塊輸入的原始數據相同的格式。然而，激光雷達分支高度依賴于數據格式，這種格式強調不同的特性，并對下游模型設計產生巨大影響。
展開 多傳感器融合技術原理及融合技術分析
傳感器融合，一般可以分為四種：
Early fusion — Fusing the raw data ，一般稱為前融合（或數據融合），匯總所有傳感器的數據，得到一個super-sensor，再進行檢測；
Late fusion — Fusing the results， 一般稱為后融合（或結果融合/信息融合），每個傳感器獨立檢測處理，得到檢測結果，再匯總；
Mid-level fusion ， 一般稱為中級融合/中層融合，各傳感器提供一個中等表示（比如特征），再匯總；
Sequential fusion ， 一般稱為順序融合，將多傳感器級聯，前一個為后一個提供信息，幫助下一個傳感器檢測更準確，缺點是容易造成誤差的累積；
前融合為數據層的融合，可以作為其他三種融合方式的基礎，目的是將多個傳感器數據源統一到同一度量時空，即時空一致性，時間一致性是為了讓兩個傳感器捕獲信息的瞬時時間戳要盡可能地接近，空間一致性是為了將傳感器坐標系統一到同一個坐標系。
硬件同步、硬同步：使用同一種硬件同時發布觸發采集命令，實現各傳感器采集、測量的時間同步。做到同一時刻采集相同的信息。
軟件同步：時間同步、空間同步。
時間同步、時間戳同步、軟同步：通過統一的主機給各個傳感器提供基準時間，各傳感器根據已經校準后的各自時間為各自獨立采集的數據加上時間戳信息，可以做到所有傳感器時間戳同步，但由于各個傳感器各自采集周期相互獨立，無法保證同一時刻采集相同的信息。
展開 賦能商用車 ADAS 研發：多傳感器數據采集方案
在傳感器配置上，該方案構建了分層感知的傳感器配置體系，圍繞商用車遠近場、全視角感知需求，構建必選 + 強化 + 可選的傳感器配置體系。通過采用aiSim軟件對傳感器位姿和采集范圍進行仿真，對傳感器配置布局可以快速有效驗證合理性，降低調試成本。
（1）必選配置：含環視多相機、主 LiDAR、360° 毫米波雷達及雙天線 GNSS + 底盤 IMU，滿足基礎感知與定位；
（2）強化配置：增設盲區近場 LiDAR、4D 毫米波雷達，提升融合能力與抗干擾性；
（3）可選配置：在駕駛室增設第二 IMU，實現艙上傳感器運動補償與標定保持。角模塊化設計將同側相機、LiDAR、雷達集成，減少設備相對運動，保障標定與時間同步精度。
在硬件架構層面，該方案打造商用車級定制化硬件架構，以高同步、高帶寬、高可靠、高拓展為核心打造專屬硬件架構，適配復雜工況。基于 PTP 協議搭建高精度時間同步系統，采用高帶寬存儲工控機搭載高性能 CPU，和專用采集與同步板卡，實現相機、LiDAR、雷達的精準采集與時間打標；
在數據交互與導出環節，硬件端配備萬兆以太網、USB3.0等高速接口，支持多塊大容量移動硬盤備份插接，實現采集數據的快速導出與存儲。
2、多傳感器標定與采集
高精度標定是多傳感器數據有效融合的核心前提，更是為BEV模型空間對齊、跨模態融合提供精準位姿基準的關鍵。針對商用車多傳感器配置特點，我們打造了全鏈路標定流程，全面覆蓋相機內參標定、多傳感器外參標定、多相機環視聯合標定、LiDAR/雷達與相機聯合標定等各類核心標定場景，可實現所有傳感器空間位姿的精準對齊，同時配套標準化標定工具包，提升標定效率與規范性。
展開 自動駕駛多傳感器數據融合方法
一、摘要
近年來，深度學習技術在涉及高維非結構化數據領域展現出了最先進的性能，如計算機視覺、語音、自然語言處理等方面，并且開始涉及更大、更復雜的多模態信息問題。
不同傳感器在進行同一實驗任務時，針對產生的同一現象進行觀測，采集的數據構成被測對象的多模態信息。多模態信息可以實現不同傳感器之間數據互補，并在相同學習任務獲取更豐富的特征，從而實現比單一模態更好的性能。
在自動駕駛領域，多模態數據通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執行自動巡航，從傳感器收集的異構數據用于學習許多相互關聯但復雜的任務，如定位和測繪、場景識別、路徑規劃和駕駛員狀態識別等。
大多數先進的融合方法集中于如何融合來自多模態空間的信息或特征。根據多模態信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數據融合處理方法
1、早期融合
早期融合在輸入端進行簡單鏈接多模態數據組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網絡進行概率預測，實現端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數據的特征，但對于來自不同傳感器的模態信息來說，這種融合方式計算量大，對設備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態的數據進行特征提取，并對特征圖進行融合操作后輸入到目標任務中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構建兩個子網絡進行多視圖區域特征融合，并在不同路徑中間層中交互特征，實現了自動駕駛場景下高精度的三維物體檢測。
展開 
MCS10 多分量傳感器：更大量程
MCS10 多分量傳感器能夠同步測量沿三個軸或坐標的力 (Fx, Fy, Fz)和扭矩 (Mx, My, Mz)。非常適合用于機械工程、試驗臺和研發。其可返回測量任務的三維圖像，最大精度可達0.1。創新性的結構和法蘭，保證了其具有極高的測量精度。
點擊這里，查看/下載《多分量傳感器》產品資料↑
普通多軸傳感器的各個信號通道往往相互影響。MCS10能將這種稱為串擾的干擾降低到最低。另外MCS10采用獨立的補償矩陣，與HBM測量放大器相結合，可進一步提高精度。
由于采用了TEDS技術，數據采集模塊可自動檢測MCS10。確保其可以立即使用，無需進行參數設置。所有傳感器的測量軸可以單獨配置。MCS10 結合了多年定制傳感器的經驗，在增加產品可靠性的同時，提高了靈活性。
展開 知識分享 | 多分量傳感器FAQ-常見問題解答
</span> <span style="color: rgb(68, 68, 68);">傳感器需要安裝在表面中心并用定位銷固定。</span> <span style="color: rgb(68, 68, 68);">角度或定位誤差需要小于 0.1°。</span> <span style="color: rgb(68, 68, 68);">多分量傳感器固定螺釘需要沿對角線固定并擰緊，以保證傳感器平放在安裝表面。</span></p><p><br></p><p><strong style="color: rgb(0, 51, 90);">多分量傳感器應用：</strong></p><p><strong style="color: rgb(51, 182, 177);">1）哪些應用會需要測量多軸方向的力？</strong></p><p><span style="color: rgb(68, 68, 68);">通常應用于需要測定矢量負載（需要x，y和z位置坐標來進行描述）的場合。簡單的來說，就是需要測量多個方向力或力矩的場合。</span></p><p><br></p><p><strong style="color: rgb(51, 182, 177);">2）為何要使用多分量傳感器來替代多個單軸力傳感器？</strong></p><p><span style="color: rgb(68, 68, 68);">一個多分量傳感器占用空間更小，安裝測量更加方便，并且節約成本。</span></p><p><br></p><p><strong style="color: rgb(51, 182, 177);">3）為何醫療設備需要多分量傳感器？
展開 多傳感器融合，叩開自動駕駛大門
小結：
站在現在的時間點上，自動駕駛正在一步一步向我們迫近！想要真正意義上實現自動駕駛，在產業鏈的積極配合下還有很多問題需要去攻克。目前來看，在硬件方面還沒有完全達到自動駕駛要求，仍需要不斷完善，正如多傳感器的相互融合。
氣體質量流量控制器的響應時間是多長？
毫秒級響應：布瑯軻鍶特的EL-FLOW Select系列熱式質量流量計，憑借優化的控制算法，在標準工況下可實現毫秒級的響應速度，部分型號在優化設置后穩定時間可小于100毫秒。
無超調控制：針對真空沉積等對穩定性要求極高的應用，FLEXI-FLOW Compact系列質量流量控制器能在150毫秒內完成響應且無超調，確保工藝過程的穩定與高效。
微小流量快速響應：在應對微小流量（如低于100 sccm）的難題時，布瑯軻鍶特采用微型MEMS傳感器芯片，響應時間可小于50毫秒，突破了傳統技術在低流量下響應遲緩的瓶頸。
氣體質量流量控制器的響應時間是一個動態的系統指標，選擇布瑯軻鍶特，意味著您不僅獲得了一款高性能的儀表，更是選擇了一位能夠根據您的特殊工況，在“快速響應”與“高穩定性”之間找到最佳平衡點的合作伙伴。
展開 