多傳感器時間對齊的案例
高?？蒲?em>多傳感器時間同步方案
</p><h1><strong>3）方案概述及科研價值</strong></h1><h3><strong>3.1方案概述</strong></h3><p><strong>多源異構傳感器納秒級時間同步</strong>解決方案（簡稱<strong>多傳感器時間同步方案</strong>）是一套基于<strong> XTSS 服務</strong>的完整時間同步體系：以 DATALynx ATX4 或 BRICK2 作為 PTP Grandmaster（主時鐘），通過 IEEE 1588 PTP 高精度協議<strong>抵消</strong>各傳感器獨立晶振的 ppm 級<strong>溫漂誤差</strong>；</p><p>同時借助 QX550、ProFrame3 等硬件<strong>直接對接傳感器物理層</strong>，在數據離開傳感器的瞬間完成時間戳記錄，規避‘滯后時間戳’問題；并通過硬件觸發替代軟件觸發，減少操作系統調度抖動，最終構建納秒級精度的統一時間基準，通過 ADTF/ROS 等軟件框架貫穿數據處理鏈路，實現從<strong>微秒級‘軟件對齊’</strong>到<strong>納秒級‘硬件同步’</strong>的工程跨越。
展開 走進飛行時間傳感技術揭秘TOF傳感器工作原理及應用領域
TOF是飛行時間（Time of Flight）技術的縮寫，即傳感器發出經調制的近紅外光，遇物體后反射，傳感器通過計算光線發射和反射時間差或相位差，來換算被拍攝景物的距離，以產生深度信息，此外再結合傳統的相機拍攝，就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現出來。根據原理來看,ToF技術早期的應用相對簡單,就是用來測距。
從去年開始,一票傳感器廠商和手機廠商的目光都投向了ToF傳感器。直到今年,英飛凌、AMS等傳感器廠商,以及蘋果、華為、三星等手機廠商仍在不斷推進ToF傳感器的技術和應用升級,可以推測,ToF傳感器不僅是火了,它已經來了。
但是,隨著ToF技術的應用不斷拓寬,ToF傳感器進入人們的視野主要是智能手機和平板領域,并且主要集中在3D ToF圖像傳感器,由于ToF傳感器目前最主要的是應用在成像領域。
在ToF傳感器逐漸成為智能手機標配的時候,多攝像頭的目的就逐漸浮出水面,可用于多場景的識別應用,例如前置及后置鏡頭用于手勢識別或者安全支付的臉部3D辨識,以及AR/VR也是ToF在3D感知上的應用方向。
圖2可以看到,目前ToF傳感器在細分領域的市場份額,主要還是以消費電子和汽車為主。 但是我們注意到ToF圖像傳感器除了在消費電子上仍然有很大的應用前景,其在物聯網領域潛力也具有被挖掘的潛力。例如：
智能家居、智慧安防、智慧零售、人流監控,ToF傳感器用于識別和跟蹤人體,不僅僅是現在的認臉模式,通過深度信息可以提高識別準確度;在自動駕駛/ 車內感知領域,ToF 傳感器也可以成為車載激光雷達、車內人體識別、車內手勢識別的重要元器件等。目前,也有不少企業將ToF傳感器植入AGV和機器人手臂當中,用于精準導航和實時避障。
展開 技術探秘 | 自動駕駛汽車傳感器融合系統，及多傳感器數據融合算法淺析
我們可以在每種傳感器中找到諸如此類的優缺點。
傳感器融合這一想法的偉大之處在于獲得不同傳感器和傳感器種類的輸入內容，并且使用組合在一起的信息來更加準確地感知周圍的環境。相對于獨立系統，這樣可以做出更好、更安全的決策。雷達也許不具有光傳感器所具有的分辨率，不過它在測距和穿透雨、雪和濃霧方面具有很大優勢。這些天氣條件或光照不足的惡劣情況不利于攝像頭發揮作用，不過攝像頭能夠分辨顏色（可以想一想街道指示牌和路標），并且具有很高的分辨率。目前路面上圖像傳感器的分辨率已經達到1百萬像素。在未來幾年內，圖像傳感器的發展趨勢將是2百萬，甚至4百萬像素。
雷達和攝像頭是兩項傳感器技術完美融合、互為補充的典范。采用這種方法的融合系統所實現的功能要遠超這些獨立系統能夠實現的功能總和。使用不同的傳感器種類可以在某一種傳感器全都出現故障的環境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（諸如一團濃霧）或是人為現象（例如對攝像頭或雷達的電子干擾或人為干擾）導致。即使是在一個傳感器失效的情況下，這樣的傳感器融合系統也可以保持某些基本或緊急的功能。完全借助報警功能，或者讓駕駛員時刻做好準備，從而接管對車輛的控制，系統故障也許就不那么嚴重了。然而，高度和完全自動駕駛功能必須提供充足的時間讓駕駛員重新獲得對車輛的控制。在這段駕駛員接管車輛控制之前的時間范圍內，控制系統需要保持對車輛最低限度的控制。
傳感器融合系統示例
傳感器融合的復雜程度有所不同，并且數據的類型也不一樣。兩個基本的傳感器融合示例是：a）后視攝像頭加上超聲波測距；b）前方攝像頭加上多模式前置雷達——參見圖2?，F在，我們可以通過對現有系統進行輕微更改和/或通過增加一個單獨的傳感器融合控制單元來對其進行實現。
展開 基于PTP，如何做好多傳感器微秒級時間同步？
01 引言
自動駕駛車輛行駛過程中，多傳感器（相機、激光雷達等）采集的帶有精準同步時間戳的數據，是車輛實現高精度感知、定位、決策與規劃的核心前提。正因如此，在自動駕駛數據采集系統中，傳感器與主控單元之間通常會采用(g) PTP 協議，以保障多傳感器的硬件時間同步。
然而和客戶對接過程中，客戶普遍反饋在實際開發過程中，要實現單個或多個傳感器與主控平臺的精準時間同步，往往會面臨時間同步精度不足、多傳感器時間戳不統一、系統部署流程復雜、數據質量難以管控等一系列問題。
康謀長期致力于多傳感器數據采集方案開發，在解決客戶問題的實踐中，積累了應對上述時間同步問題的豐富經驗。本文針對 PTP 時間同步協議在傳感器與主控平臺間的應用，分享相關的實踐案例與技術經驗，和大家一起討論學習。
02 相機與工控機時間同步
PTP時間同步體系
以相機和工控機實現PTP時間同步部署為例，相機采集端口采集用以太網接口(支持PTP)，工控機對應采用以太網接口(支持PTP)，以此搭建基礎的同步硬件鏈路。此外，激光雷達通常采用車載以太網（支持 (g) PTP 協議）完成時間同步，其實現思路與部署邏輯和本案例中的相機方案同理。
PTP時間同步可以簡單劃分為四層結構：
①硬件層：依托網卡 PHC（Precision Hardware Clock）硬件時鐘，在數據包收發的物理層 / 數據鏈路層邊界直接打上時間戳?？梢幈苘浖f議棧的延遲干擾，為整個同步體系提供納秒級的硬件時間基準。
②協議層：基于 IEEE 1588 PTP 協議，通過 Sync/Follow-Up 和 Delay_Req/Delay_Resp 兩組核心消息對實現主從同步。
展開 
拜騰安裝pmd 3D飛行時間傳感器 實現車內手勢控制
據外媒報道，高端智能電動汽車品牌拜騰（BYTON）宣布，將與pmdtechnologies ag公司合作，在其首輛量產車型M-Byte SUV的車內手勢控制攝像系統（in-car gesture control camera system）中安裝pmdtechnologies的3D飛行時間傳感器（3D Time-of-Flight sensor）。該攝像系統將用于運行M-Byte SUV的48英寸共享全面屏（SED）。
拜騰的產品線定位為下一代智能設備，融合了先進數字技術，為顧客提供智能、安全、舒適和環保的駕駛和移動出行體驗。M-Byte是一輛中型電動SUV，也是拜騰的首款車型，將于2019年底投產。
pmdtechnologies ag.公司首席執行官Bernd Buxbaum博士表示：“隨著車輛的功能變得越來越多，自然交互成為了簡化人機界面的重要工具。拜騰是行業內的重要創新者之一，與其合作使pmd公司能夠展示我們全日照3D傳感器的潛力，這是其他3D技術無法做到的?！?pmdtechnologies ag公司與英飛凌技術公司（Infineon Technologies AG）聯合研發的3D飛行時間傳感器已經用于智能手機、機器人、VR/AR頭顯以及現在的車輛中。在拜騰的M-Byte車型中，飛行時間傳感器（ToF sensor）可讓汽車乘客利用手勢接聽手機，或是通過共享全面屏播放最喜歡的音樂。
pmd公司的3D飛行時間傳感器安裝在M-Byte攝像頭的上方，有一組照明燈，可不斷地向駕駛艙發射看不見的光線。該飛行時間傳感器測量攝像頭光線從物體和人（無論是靜止還是移動的）身上反彈的時間，從而實現了車內手勢控制攝像系統。
展開 多傳感器融合定位是否足夠安全？
我們沒有選擇使用優化器，因為BA-MSF實現以二進制形式發布，因此我們無法直接獲得其分析公式。對于我們分析中的給定傳感器數據跡線，存在多個可能的攻擊窗口，即前一個GPS數據和后一個GPS數據的間隙。對于每個攻擊窗口，我們迭代搜索可以使最大程度偏離
的
，這也是以前有關單源KF安全性的研究工作中使用的一種方法。根據我們的威脅模型，我們將對GPS欺騙數據的測量不確定性設置為BA-MSF中傳感器數據跡線的中值。
我們對兩種類型的傳感器數據跡線進行上述分析：（1）真實數據，以及（2）擬合的無噪聲數據。前者是通過在真實世界中駕駛AV時直接記錄MSF的輸入而獲得的，此類跡線的分析結果具有最高的真實性。但是我們可以執行的操作是有限的，由于不同傳感器數據之間存在相關性，我們無法輕易地修改傳感器數據；并且由于傳感器存在噪聲，分析可能不準確。因此，我們利用后者進行補充，其按照給定的駕駛軌跡合成MSF輸入，所有LiDAR定位和真實GPS信號定位都設置為真實位置，其測量不確定度設置為實際數據的中值，并根據駕駛軌跡擬合出IMU測量值。
實驗環境
我們使用官方Apollo AD系統中的BA-MSF實現代碼。
展開 自動駕駛多模態傳感器融合的綜述
此外，當前的感知任務主要依賴于忽略時間信息的單一框架。最近基于激光雷達的方法結合了一個幀序列來提高性能。時間序列信息包含序列化的監控信號，與單幀方法相比，它可以提供更穩健的結果。
表征學習的自監督：相互監督的信號自然地存在于從同一個真實世界場景但不同角度采樣的跨模態數據中。然而，由于缺乏對數據的深入理解，目前無法挖掘出各模態之間的協同關系。未來的研究可以集中在如何利用多模態數據進行自監督學習，包括預訓練、微調或對比學習。通過實施這些最先進的機制，融合模型將加深對數據的理解并取得更好的結果。
域偏差和數據分辨率與真實場景和傳感器高相關。這些缺陷阻礙了自動駕駛深度學習模型的大規模訓練和實施。
域偏差：在自主駕駛感知場景中，由不同傳感器提取的原始數據伴隨著域相關特征。不同的攝像頭系統有其光學特性，而激光雷達可能因機械激光雷達和固態激光雷達而不同。更重要的是，數據本身可能是有域偏差的，例如天氣、季節或地理位置。因此，檢測模型無法順利適應新的場景。由于泛化失敗，這些缺陷妨礙大規模數據集的收集和原始訓練數據可重用性。
分辨率沖突：來自不同模式的傳感器通常具有不同的分辨率。例如，激光雷達的空域密度明顯低于圖像的空域密度。無論采用何種投影方法，由于無法找到對應關系，一些信息被消除。這可能導致模型被一個特定模態的數據所主導，無論是特征向量的分辨率不同還是原始信息的不平衡。
展開 多傳感器融合技術原理及融合技術分析
來源 | CSDN
概述
多傳感器融合（Multi-sensor Fusion, MSF）是利用計算機技術，將來自多傳感器或多源的信息和數據以一定的準則進行自動分析和綜合，以完成所需的決策和估計而進行的信息處理過程。
多傳感器融合基本原理就像人腦綜合處理信息的過程一樣，將各種傳感器進行多層次、多空間的信息互補和優化組合處理，最終產生對觀測環境的一致性解釋。在這個過程中要充分利用多源數據進行合理支配與使用，而信息融合的最終目標則是基于各傳感器獲得的分離觀測信息，通過對信息多級別、多方面組合導出更多有用信息。這不僅是利用了多個傳感器相互協同操作的優勢，而且也綜合處理了其它信息源的數據來提高整個傳感器系統的智能化。
具體來講，多傳感器數據融合原理如下：
（1）多個不同類型傳感器（有源或無源）收集觀測目標的數據；
（2）對傳感器的輸出數據（離散或連續的時間函數數據、輸出矢量、成像數據或一個直接的屬性說明）進行特征提取的變換，提取代表觀測數據的特征矢量Yi；
（3）對特征矢量Yi進行模式識別處理（如聚類算法、自適應神經網絡或其他能將特征矢量Yi變換成目標屬性判決的統計模式識別法等），完成各傳感器關于目標的說明；
（4）將各傳感器關于目標的說明數據按同一目標進行分組，即關聯；
（5）利用融合算法將目標的各傳感器數據進行合成，得到該目標的一致性解釋與描述。
以Autoware為例，在自動駕駛中，傳感器是汽車感知周圍的環境的硬件基礎，在實現自動駕駛的各個階段都必不可少。自動駕駛離不開感知層、控制層和執行層的相互配合。
展開 MCS10 多分量傳感器：更大量程
MCS10 多分量傳感器能夠同步測量沿三個軸或坐標的力 (Fx, Fy, Fz)和扭矩 (Mx, My, Mz)。非常適合用于機械工程、試驗臺和研發。其可返回測量任務的三維圖像，最大精度可達0.1。創新性的結構和法蘭，保證了其具有極高的測量精度。
點擊這里，查看/下載《多分量傳感器》產品資料↑
普通多軸傳感器的各個信號通道往往相互影響。MCS10能將這種稱為串擾的干擾降低到最低。另外MCS10采用獨立的補償矩陣，與HBM測量放大器相結合，可進一步提高精度。
由于采用了TEDS技術，數據采集模塊可自動檢測MCS10。確保其可以立即使用，無需進行參數設置。所有傳感器的測量軸可以單獨配置。MCS10 結合了多年定制傳感器的經驗，在增加產品可靠性的同時，提高了靈活性。
展開 知識分享 | 多分量傳感器FAQ-常見問題解答
</span> <span style="color: rgb(68, 68, 68);">傳感器需要安裝在表面中心并用定位銷固定。</span> <span style="color: rgb(68, 68, 68);">角度或定位誤差需要小于 0.1°。</span> <span style="color: rgb(68, 68, 68);">多分量傳感器固定螺釘需要沿對角線固定并擰緊，以保證傳感器平放在安裝表面。</span></p><p><br></p><p><strong style="color: rgb(0, 51, 90);">多分量傳感器應用：</strong></p><p><strong style="color: rgb(51, 182, 177);">1）哪些應用會需要測量多軸方向的力？</strong></p><p><span style="color: rgb(68, 68, 68);">通常應用于需要測定矢量負載（需要x，y和z位置坐標來進行描述）的場合。簡單的來說，就是需要測量多個方向力或力矩的場合。</span></p><p><br></p><p><strong style="color: rgb(51, 182, 177);">2）為何要使用多分量傳感器來替代多個單軸力傳感器？</strong></p><p><span style="color: rgb(68, 68, 68);">一個多分量傳感器占用空間更小，安裝測量更加方便，并且節約成本。</span></p><p><br></p><p><strong style="color: rgb(51, 182, 177);">3）為何醫療設備需要多分量傳感器？
展開 賦能商用車 ADAS 研發：多傳感器數據采集方案
在傳感器配置上，該方案構建了分層感知的傳感器配置體系，圍繞商用車遠近場、全視角感知需求，構建必選 + 強化 + 可選的傳感器配置體系。通過采用aiSim軟件對傳感器位姿和采集范圍進行仿真，對傳感器配置布局可以快速有效驗證合理性，降低調試成本。
（1）必選配置：含環視多相機、主 LiDAR、360° 毫米波雷達及雙天線 GNSS + 底盤 IMU，滿足基礎感知與定位；
（2）強化配置：增設盲區近場 LiDAR、4D 毫米波雷達，提升融合能力與抗干擾性；
（3）可選配置：在駕駛室增設第二 IMU，實現艙上傳感器運動補償與標定保持。角模塊化設計將同側相機、LiDAR、雷達集成，減少設備相對運動，保障標定與時間同步精度。
在硬件架構層面，該方案打造商用車級定制化硬件架構，以高同步、高帶寬、高可靠、高拓展為核心打造專屬硬件架構，適配復雜工況?；?PTP 協議搭建高精度時間同步系統，采用高帶寬存儲工控機搭載高性能 CPU，和專用采集與同步板卡，實現相機、LiDAR、雷達的精準采集與時間打標；
在數據交互與導出環節，硬件端配備萬兆以太網、USB3.0等高速接口，支持多塊大容量移動硬盤備份插接，實現采集數據的快速導出與存儲。
2、多傳感器標定與采集
高精度標定是多傳感器數據有效融合的核心前提，更是為BEV模型空間對齊、跨模態融合提供精準位姿基準的關鍵。針對商用車多傳感器配置特點，我們打造了全鏈路標定流程，全面覆蓋相機內參標定、多傳感器外參標定、多相機環視聯合標定、LiDAR/雷達與相機聯合標定等各類核心標定場景，可實現所有傳感器空間位姿的精準對齊，同時配套標準化標定工具包，提升標定效率與規范性。
展開 
自動駕駛多傳感器數據融合方法
一、摘要
近年來，深度學習技術在涉及高維非結構化數據領域展現出了最先進的性能，如計算機視覺、語音、自然語言處理等方面，并且開始涉及更大、更復雜的多模態信息問題。
不同傳感器在進行同一實驗任務時，針對產生的同一現象進行觀測，采集的數據構成被測對象的多模態信息。多模態信息可以實現不同傳感器之間數據互補，并在相同學習任務獲取更豐富的特征，從而實現比單一模態更好的性能。
在自動駕駛領域，多模態數據通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執行自動巡航，從傳感器收集的異構數據用于學習許多相互關聯但復雜的任務，如定位和測繪、場景識別、路徑規劃和駕駛員狀態識別等。
大多數先進的融合方法集中于如何融合來自多模態空間的信息或特征。根據多模態信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數據融合處理方法
1、早期融合
早期融合在輸入端進行簡單鏈接多模態數據組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網絡進行概率預測，實現端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數據的特征，但對于來自不同傳感器的模態信息來說，這種融合方式計算量大，對設備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態的數據進行特征提取，并對特征圖進行融合操作后輸入到目標任務中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構建兩個子網絡進行多視圖區域特征融合，并在不同路徑中間層中交互特征，實現了自動駕駛場景下高精度的三維物體檢測。
展開 多個傳感器串/并聯該怎么接線？
圖1 兩線制傳感器開關串聯接線圖
0
2
三線制傳感器的串聯方法
三線制的傳感器開關，棕色（褐色）為直流正極，藍色為直流負極，黑色線為信號線，我們以NPN型傳感器為例，單個傳感器接線如下圖2所示：
圖2 三線制接線示意圖
如圖三所示，在串聯的時候，我們將A、B傳感器的棕色線同時接到24V正極，A傳感器黑色線（OUT）接入負載（PLC，如果是繼電器線圈則OUT要接入繼電器線圈正極）；A傳感器藍色線和B的黑色（OUT）線短接，B的藍色線接入24V負極。
圖3 三線制傳感器串聯接線圖
0
3
傳感器開關的并聯
設備的某個工位上有多個同時動作的模組，但只需要采集一個IO時，我們可以將其傳感器并聯起來。
如下圖所示，兩線制的傳感器在并聯時，如果是源型接法，只需要將A和B的棕色（褐色）連起來接入信號，藍色線接入0V；漏型接法反之。
圖4 兩線制的并聯方法
若是三線制傳感器，則需要將每組相同的線并接，即A和B的棕色（褐）并接入24V正極，藍色并接入24V負極，兩個傳感器的黑色輸出接入負載IO。
注意：A和B傳感器必須都是同一個類型的（同PNP或NPN）。
展開 氣體質量流量控制器的響應時間是多長？
毫秒級響應：布瑯軻鍶特的EL-FLOW Select系列熱式質量流量計，憑借優化的控制算法，在標準工況下可實現毫秒級的響應速度，部分型號在優化設置后穩定時間可小于100毫秒。
無超調控制：針對真空沉積等對穩定性要求極高的應用，FLEXI-FLOW Compact系列質量流量控制器能在150毫秒內完成響應且無超調，確保工藝過程的穩定與高效。
微小流量快速響應：在應對微小流量（如低于100 sccm）的難題時，布瑯軻鍶特采用微型MEMS傳感器芯片，響應時間可小于50毫秒，突破了傳統技術在低流量下響應遲緩的瓶頸。
氣體質量流量控制器的響應時間是一個動態的系統指標，選擇布瑯軻鍶特，意味著您不僅獲得了一款高性能的儀表，更是選擇了一位能夠根據您的特殊工況，在“快速響應”與“高穩定性”之間找到最佳平衡點的合作伙伴。
展開 交通管控中多傳感器融合技術的優勢
德國Jenoptik集團推出多傳感器融合技術來避免混淆監測。
Jenoptik集團目前正在聚焦于ITS部門的多傳感器融合技術應用的優勢。當考慮利用傳感器系統來改善交通擁堵和道路安全問題時，如果是涉及到警務安全，考慮只采用雷達系統或激光掃描儀來實現。但現在管理者需要的是檢測和監控車輛的解決方案，并同時實現執法功能，而目前并沒有哪一種傳感器技術能夠全部滿足這些條件，因此最優的解決方案是使用傳感器和其他組件的組合優勢來達到結果。
但大家必須清楚，多傳感器融合并不是電影《1984》的現實版本，它不會以“老大哥”無所不在的方式監視著公眾。相反，該技術以多種方式來協助道路使用者，高速公路運營商和交警以及公眾，為所有人提供更安全，更高效的旅程。
交叉路口的三維運動物體識別
多傳感器數據融合
多傳感器融合需要模塊化的多傳感器和基于基礎設施的物體檢測系統組合，并通過先進的傳感器技術（立體攝像機，車牌識別攝像機，雷達和激光等）檢測所有關于交通狀況和道路使用者的信息，并實現實時流量數據的收集。在這里，傳感器的測量范圍和速度的準確性，檢測率，穩定性，都會受到環境條件（照明，雨雪和溫度）的影響。
Jenoptik集團目前已經推出用于檢測往來車輛車型，車牌識別，車軸數等數據的模塊化的多傳感器融合系統。該系統的部署必須預先知道哪些組件安裝在什么地方可以實現復雜交通狀況的監控預期效果。路邊組件會將采集到的數據發送到后臺處理系統進行評估。另外，智能車牌識別軟件還可實現車輛信息與運營商數據的融合。
左：攝像機覆蓋區域。右：雷達覆蓋區域
路邊數據通常來源于車牌識別攝像機，包括車牌和車輛類型的圖像等，這些數據通過加密后部分或完全傳輸到中央數據服務器。但這些數據在不進行分析的情況下，只能算原始信息，價值并不大。
展開 