多傳感器仿真的案例
設計仿真 | VTD傳感器仿真與RDMA技術的應用
隨著車輛智能化程度不斷提升，車載傳感設備也從最初的1R1V逐步發展到5R10V，甚至出現當下主流的多毫米波（6）、多超聲波（12）、多相機（10+）以及多激光雷達（1~3）的綜合傳感系統。同時，這也對智能駕駛仿真測試軟件及系統在多類型、多數量傳感器仿真過程中的模型真實可靠性、運行實時性、數據傳輸的低延遲性、高帶寬性以及系統可靠性上提出了更加嚴苛的要求。
在傳感器模型的真實性與可靠性方面，VTD軟件通過對于傳感器建模方法論與技術實現了持續迭代，在相機、激光雷達、毫米波雷達、超聲波雷達等傳感器的物理模型搭建方面積累了豐富的經驗。在相機模型方面，可實現對于鏡頭畸變、相機動態曝光、動態白平衡、動態焦距調整、運動模糊、RAW數據仿真、ISP逆變換等特性的模擬。在激光雷達方面，支持傳統機械式激光雷達以及MEMS的固態（半固態）激光雷達仿真，同時在雷達回波模式設置、鬼影模擬、邊緣膨脹、運動畸變等特性均可實現模擬。
在應對多傳感器數據傳輸的問題上，VTD除了支持常規TCP/IP傳輸外，還支持共享內存SHM的讀寫機制，極大的提升了數據讀寫速率。在傳輸硬件配合的方面，海克斯康工業軟件VTD與NI達成深度合作，雙方基于RDMA技術的應用在多傳感器仿真領域取得了較大的進展。RDMA(Remote Direct Memory Access)，全稱遠端內存直接訪問技術，相對于傳統的TCP/IP通信具有以下特點：
CPU Bypass
數據傳輸過程中，僅僅使用操作系統建立通道，后續應用程序可繞過CPU直接進行消息傳遞。可有效降低CPU負載，尤其是在多傳感器仿真使用環境中可有效提升仿真性能，最大限度發揮CPU自身性能。
展開 VTD傳感器仿真與RDMA技術的應用
wx_fmt=png&from=appmsg"></p><p><br></p><p><br></p><p>在傳感器模型的真實性與可靠性方面，VTD軟件通過對于傳感器建模方法論與技術實現了持續迭代，在相機、激光雷達、毫米波雷達、超聲波雷達等傳感器的物理模型搭建方面積累了豐富的經驗。在相機模型方面，可實現對于鏡頭畸變、相機動態曝光、動態白平衡、動態焦距調整、運動模糊、RAW數據仿真、ISP逆變換等特性的模擬。在激光雷達方面，支持傳統機械式激光雷達以及MEMS的固態（半固態）激光雷達仿真，同時在雷達回波模式設置、鬼影模擬、邊緣膨脹、運動畸變等特性均可實現模擬。</p><p>在應對多傳感器數據傳輸的問題上，VTD除了支持常規TCP/IP傳輸外，還支持共享內存SHM的讀寫機制，極大的提升了數據讀寫速率。在傳輸硬件配合的方面，海克斯康工業軟件VTD與NI達成深度合作，雙方基于RDMA技術的應用在多傳感器仿真領域取得了較大的進展。RDMA(Remote Direct Memory Access)，全稱遠端內存直接訪問技術，相對于傳統的TCP/IP通信具有以下特點：</p><p><strong>CPU Bypass</strong></p><p>數據傳輸過程中，僅僅使用操作系統建立通道，后續應用程序可繞過CPU直接進行消息傳遞。可有效降低CPU負載，尤其是在多傳感器仿真使用環境中可有效提升仿真性能，最大限度發揮CPU自身性能。</p><p><strong>內核Bypass</strong></p><p>IO數據流程可繞過內核，在用戶層完成數據準備后即可直接通知硬件進行數據的收發，避免系統調用和上下文切換所帶來的時間和資源開銷。
展開 設計仿真 | 基于VTD的多物理傳感器自動駕駛系統仿真方案
隨著自動駕駛算法等級的不斷提高，各開發商的傳感器布置方案也越來越豐富，最典型的為多V、多R及多L的方案。而在對多種類，多數量的傳感器進行物理模型仿真時，會占用大量的計算資源和網絡通訊資源，同時仿真的效果還受到PCIe總線帶寬及顯卡的接口數量限制。
基于VTD的多物理傳感器自動駕駛系統仿真方案，采用VTD的主從機布置方式，將VTD軟件安裝在主機Master上，從機slave上只安裝運行VTD所需要的依賴，主機以mount的方式將仿真軟件映射在從機Slave相應的位置。在主機中配置各類型傳感器運行的顯卡平臺，仿真開始時，主機以ssh的方式將傳感器的計算任務下發到從機Slave的顯卡，以調用從機Slave的計算資源，達到仿真對速度的要求。各個計算機的顯卡將計算完成的數據，分別通過HDMI和以太網的數據，發送到視頻注入板(FPGA)或直接發送給被測系統SUT。從而在感知層實現全鏈路仿真。該系統可以滿足用戶：
01
同時進行多路視頻數據的感知算法驗證；
02
同時進行多路激光雷達點云數據的仿真驗證；
03
同時進行多路毫米波雷達點云數據的仿真驗證；
04
可進行多V多R和多L的物理模型仿真驗證；
05
可進行行泊一體的算法仿真驗證。
VTD方案優勢
支持主從機的布置方式，合理分配計算資源；
主從機采用同一套仿真軟件，降低軟件成本；
根據顯卡的種類(圖形卡/計算卡)合理分配計算任務；
從機數量可擴展。
展開 康謀分享 | 基于多傳感器數據的自動駕駛仿真確定性驗證
01 引言
隨著自動駕駛技術的飛速發展，仿真測試已成為替代成本高昂且充滿風險的道路測試的關鍵環節。它能夠在虛擬環境中模擬各種復雜的交通場景和極端天氣，極大地加速了自動駕駛系統的開發與驗證進程。然而，一個常被忽視的問題正悄然侵蝕著仿真測試的可信度——非確定性，即仿真測試過程中因核心引擎或其他因素導致的隨機性。
圖1 aiSim多傳感器融合示例
目前，許多市面上的仿真軟件，尤其是基于游戲引擎開發的平臺，其核心設計目標之一是高效地為玩家提供充滿驚喜和變化的娛樂體驗。這種內在的隨機性，在游戲世界里是優點，但在嚴謹的汽車測試領域，卻是一個致命的缺陷。
想象一下在仿真測試過程中，工程師精心設置了所有參數——車輛速度、行人軌跡、天氣狀況、傳感器配置——期望能穩定復現一個特定的危險場景。然而，每次點擊“開始”，結果卻不盡相同：第一次，車輛完美避讓；第二次，發生了輕微碰撞；第三次，又安然無恙。這或許并非是算法時好時壞，而是仿真環境本身在“搖擺不定”。
02 隨機性的前因與后果
Greg等人研究指出，基于游戲引擎的仿真環境，其隨機性并非偶然，而是源于其底層架構的諸多方面：
（1）資源負載與調度：系統CPU/GPU的負載波動，會直接影響物理引擎的計算時機和順序，導致即使輸入完全相同，輸出的軌跡也會產生高達數十厘米的偏差。
（2）物理引擎的“模糊”處理：為了實時渲染流暢的畫面，游戲引擎在處理物體碰撞等復雜物理交互時，往往采用近似計算。這種不精確性在一次碰撞后會被急劇放大，甚至影響到場景中其他未參與碰撞的物體，造成全局性的結果污染。
（3）多線程與并行計算：為了效率，引擎會將任務分配給多個線程并行處理，但線程完成的順序并非每次都固定，這種執行順序的微小變化，會像蝴蝶效應一樣，最終導致仿真結果的巨大差異。
展開 
技術探秘 | 自動駕駛汽車傳感器融合系統，及多傳感器數據融合算法淺析
自動泊車、公路巡航控制和自動緊急制動等自動駕駛汽車功能在很大程度上是依靠傳感器來實現的。重要的不僅僅是傳感器的數量或種類，它們的使用方式也同樣重要。目前，大多數路面上行駛車輛內的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。只有把多個傳感器信息融合起來，才是實現自動駕駛的關鍵。
現在路面上的很多汽車，甚至是展廳內的很多新車，內部都配備有基于攝像頭、雷達、超聲波或LIDAR等不同傳感器的先進駕駛員輔助系統（ADAS）。
這些系統的數量將會隨著新法案的通過而不斷增加，例如在美國，就有強制要求安裝后視攝像頭的法案。此外，諸如車險打折優惠和美國公路交通安全管理局（NHTSA）、歐洲新車安全評鑒協會（Euro-NCAP）等機構做出的汽車安全評級正在使某些系統成為汽車的強制功能；另一方面，這也助長了消費者對它們的需求。
諸如自動泊車、公路巡航控制和自動緊急制動的自動駕駛汽車功能也在很大程度上依靠傳感器來實現。重要的不僅僅是傳感器的數量或種類，它們的使用方式也同樣重要。目前，大多數路面上行駛車輛內的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。（沒錯，某些高端車輛具有非常先進的自動駕駛功能，不過這些功能還未普及）。后視攝像頭、環視系統、雷達和前方攝像頭都有它們各自的用途。通過將這些獨立的系統添加到車輛當中，可以為駕駛員提供更多信息，并且實現自動駕駛功能。不過，你還可以突破限制，實現更多功能——參見圖1。
圖1：ADAS以汽車內單個、獨立的功能存在。
傳感器融合
僅僅通過多次使用相同種類的傳感器無法克服每種傳感器的缺點。反之，我們需要將來自不同種類傳感器的信息組合在一起。工作在可見光譜范圍內的攝像頭CMOS芯片在濃霧、下雨、刺眼陽光和光照不足的情況下會遇到麻煩。而雷達缺少目前成像傳感器所具有的高分辨率。
展開 干貨｜自動駕駛系統中感知傳感器實物仿真測試環境構建
這對感知傳感器實物仿真測試環境構建提出了更高的要求，也期待有更多更優先的構建方法和創新型構想被提出。
---END---
作者：北斗
文章來源：汽車測試網
多傳感器融合定位是否足夠安全？
我們沒有選擇使用優化器，因為BA-MSF實現以二進制形式發布，因此我們無法直接獲得其分析公式。對于我們分析中的給定傳感器數據跡線，存在多個可能的攻擊窗口，即前一個GPS數據和后一個GPS數據的間隙。對于每個攻擊窗口，我們迭代搜索可以使最大程度偏離
的
，這也是以前有關單源KF安全性的研究工作中使用的一種方法。根據我們的威脅模型，我們將對GPS欺騙數據的測量不確定性設置為BA-MSF中傳感器數據跡線的中值。
我們對兩種類型的傳感器數據跡線進行上述分析：（1）真實數據，以及（2）擬合的無噪聲數據。前者是通過在真實世界中駕駛AV時直接記錄MSF的輸入而獲得的，此類跡線的分析結果具有最高的真實性。但是我們可以執行的操作是有限的，由于不同傳感器數據之間存在相關性，我們無法輕易地修改傳感器數據；并且由于傳感器存在噪聲，分析可能不準確。因此，我們利用后者進行補充，其按照給定的駕駛軌跡合成MSF輸入，所有LiDAR定位和真實GPS信號定位都設置為真實位置，其測量不確定度設置為實際數據的中值，并根據駕駛軌跡擬合出IMU測量值。
實驗環境
我們使用官方Apollo AD系統中的BA-MSF實現代碼。
展開 自動駕駛多模態傳感器融合的綜述
多模態融合是感知自動駕駛系統的一項基本任務，最近引起了許多研究人員的興趣。然而，由于原始數據噪聲大、信息利用率低以及多模態傳感器的無對準，達到相當好的性能并非易事。
本文對現有的基于多模態自動駕駛感知任務方法進行了文獻綜述。
分析超過50篇論文，包括攝像頭和激光雷達，試圖解決目標檢測和語義分割任務。與傳統的融合模型分類方法不同，作者從融合階段的角度，通過更合理的分類法將融合模型分為兩大類，四小類。此外，研究了當前的融合方法，就潛在的研究機會展開討論。
最近，用于自動駕駛感知任務的多模態融合方法發展迅速，其從跨模態特征表示和更可靠的模態傳感器，到更復雜、更穩健的多模態融合深度學習模型和技術。然而，只有少數文獻綜述集中在多模態融合方法本身的方法論上，大多數文獻都遵循傳統規則，將其分為前融合、深度（特征）融合和后融合三大類，重點關注深度學習模型中融合特征的階段，無論是數據級、特征級還是提議級。首先，這種分類法沒有明確定義每個級別的特征表示。其次，它表明，激光雷達和攝像頭這兩個分支在處理過程中始終是對稱的，模糊了激光雷達分支中融合提議級特征和攝像頭分支中融合數據級特征的情況。綜上所述，傳統的分類法可能是直觀的，但對于總結最近出現的越來越多的多模態融合方法來說卻很落后，這使得研究人員無法從系統的角度對其進行研究和分析。
如圖是自動駕駛感知任務的示意圖：
深度學習模型僅限于輸入的表示。為了實現該模型，需要在數據輸入模型之前，通過一個復雜的特征提取器對原始數據進行預處理。
至于圖像分支，大多數現有方法保持與下游模塊輸入的原始數據相同的格式。然而，激光雷達分支高度依賴于數據格式，這種格式強調不同的特性，并對下游模型設計產生巨大影響。
展開 多傳感器融合技術原理及融合技術分析
來源 | CSDN
概述
多傳感器融合（Multi-sensor Fusion, MSF）是利用計算機技術，將來自多傳感器或多源的信息和數據以一定的準則進行自動分析和綜合，以完成所需的決策和估計而進行的信息處理過程。
多傳感器融合基本原理就像人腦綜合處理信息的過程一樣，將各種傳感器進行多層次、多空間的信息互補和優化組合處理，最終產生對觀測環境的一致性解釋。在這個過程中要充分利用多源數據進行合理支配與使用，而信息融合的最終目標則是基于各傳感器獲得的分離觀測信息，通過對信息多級別、多方面組合導出更多有用信息。這不僅是利用了多個傳感器相互協同操作的優勢，而且也綜合處理了其它信息源的數據來提高整個傳感器系統的智能化。
具體來講，多傳感器數據融合原理如下：
（1）多個不同類型傳感器（有源或無源）收集觀測目標的數據；
（2）對傳感器的輸出數據（離散或連續的時間函數數據、輸出矢量、成像數據或一個直接的屬性說明）進行特征提取的變換，提取代表觀測數據的特征矢量Yi；
（3）對特征矢量Yi進行模式識別處理（如聚類算法、自適應神經網絡或其他能將特征矢量Yi變換成目標屬性判決的統計模式識別法等），完成各傳感器關于目標的說明；
（4）將各傳感器關于目標的說明數據按同一目標進行分組，即關聯；
（5）利用融合算法將目標的各傳感器數據進行合成，得到該目標的一致性解釋與描述。
以Autoware為例，在自動駕駛中，傳感器是汽車感知周圍的環境的硬件基礎，在實現自動駕駛的各個階段都必不可少。自動駕駛離不開感知層、控制層和執行層的相互配合。
展開 賦能商用車 ADAS 研發：多傳感器數據采集方案
在傳感器配置上，該方案構建了分層感知的傳感器配置體系，圍繞商用車遠近場、全視角感知需求，構建必選 + 強化 + 可選的傳感器配置體系。通過采用aiSim軟件對傳感器位姿和采集范圍進行仿真，對傳感器配置布局可以快速有效驗證合理性，降低調試成本。
（1）必選配置：含環視多相機、主 LiDAR、360° 毫米波雷達及雙天線 GNSS + 底盤 IMU，滿足基礎感知與定位；
（2）強化配置：增設盲區近場 LiDAR、4D 毫米波雷達，提升融合能力與抗干擾性；
（3）可選配置：在駕駛室增設第二 IMU，實現艙上傳感器運動補償與標定保持。角模塊化設計將同側相機、LiDAR、雷達集成，減少設備相對運動，保障標定與時間同步精度。
在硬件架構層面，該方案打造商用車級定制化硬件架構，以高同步、高帶寬、高可靠、高拓展為核心打造專屬硬件架構，適配復雜工況。基于 PTP 協議搭建高精度時間同步系統，采用高帶寬存儲工控機搭載高性能 CPU，和專用采集與同步板卡，實現相機、LiDAR、雷達的精準采集與時間打標；
在數據交互與導出環節，硬件端配備萬兆以太網、USB3.0等高速接口，支持多塊大容量移動硬盤備份插接，實現采集數據的快速導出與存儲。
2、多傳感器標定與采集
高精度標定是多傳感器數據有效融合的核心前提，更是為BEV模型空間對齊、跨模態融合提供精準位姿基準的關鍵。針對商用車多傳感器配置特點，我們打造了全鏈路標定流程，全面覆蓋相機內參標定、多傳感器外參標定、多相機環視聯合標定、LiDAR/雷達與相機聯合標定等各類核心標定場景，可實現所有傳感器空間位姿的精準對齊，同時配套標準化標定工具包，提升標定效率與規范性。
展開 自動駕駛多傳感器數據融合方法
一、摘要
近年來，深度學習技術在涉及高維非結構化數據領域展現出了最先進的性能，如計算機視覺、語音、自然語言處理等方面，并且開始涉及更大、更復雜的多模態信息問題。
不同傳感器在進行同一實驗任務時，針對產生的同一現象進行觀測，采集的數據構成被測對象的多模態信息。多模態信息可以實現不同傳感器之間數據互補，并在相同學習任務獲取更豐富的特征，從而實現比單一模態更好的性能。
在自動駕駛領域，多模態數據通常包括安裝在車輛上的多個傳感器，包括雷達、立體可見光攝像頭、紅外攝像頭、GPS等，為執行自動巡航，從傳感器收集的異構數據用于學習許多相互關聯但復雜的任務，如定位和測繪、場景識別、路徑規劃和駕駛員狀態識別等。
大多數先進的融合方法集中于如何融合來自多模態空間的信息或特征。根據多模態信息的融合策略主要可以分為早期融合、中期融合和晚期融合。
二、多傳感器數據融合處理方法
1、早期融合
早期融合在輸入端進行簡單鏈接多模態數據組合，然后輸入到特定的模型進行處理。LaserNet采用了這種融合策略，將三維的點云映射到二維圖像上，采用全卷積網絡進行概率預測，實現端到端的三維物體檢測。
早期融合的方式能夠保留最多原始數據的特征，但對于來自不同傳感器的模態信息來說，這種融合方式計算量大，對設備運行要求較高。
2、中期融合
中期融合又稱作是特征融合，需要對來自不同模態的數據進行特征提取，并對特征圖進行融合操作后輸入到目標任務中進行處理。通過ROI池化的方式將二維圖像和點云鳥瞰圖、前視圖特征整合到同一特征尺度進行融合，并構建兩個子網絡進行多視圖區域特征融合，并在不同路徑中間層中交互特征，實現了自動駕駛場景下高精度的三維物體檢測。
展開 
MCS10 多分量傳感器：更大量程
MCS10 多分量傳感器能夠同步測量沿三個軸或坐標的力 (Fx, Fy, Fz)和扭矩 (Mx, My, Mz)。非常適合用于機械工程、試驗臺和研發。其可返回測量任務的三維圖像，最大精度可達0.1。創新性的結構和法蘭，保證了其具有極高的測量精度。
點擊這里，查看/下載《多分量傳感器》產品資料↑
普通多軸傳感器的各個信號通道往往相互影響。MCS10能將這種稱為串擾的干擾降低到最低。另外MCS10采用獨立的補償矩陣，與HBM測量放大器相結合，可進一步提高精度。
由于采用了TEDS技術，數據采集模塊可自動檢測MCS10。確保其可以立即使用，無需進行參數設置。所有傳感器的測量軸可以單獨配置。MCS10 結合了多年定制傳感器的經驗，在增加產品可靠性的同時，提高了靈活性。
展開 知識分享 | 多分量傳感器FAQ-常見問題解答
</span> <span style="color: rgb(68, 68, 68);">傳感器需要安裝在表面中心并用定位銷固定。</span> <span style="color: rgb(68, 68, 68);">角度或定位誤差需要小于 0.1°。</span> <span style="color: rgb(68, 68, 68);">多分量傳感器固定螺釘需要沿對角線固定并擰緊，以保證傳感器平放在安裝表面。</span></p><p><br></p><p><strong style="color: rgb(0, 51, 90);">多分量傳感器應用：</strong></p><p><strong style="color: rgb(51, 182, 177);">1）哪些應用會需要測量多軸方向的力？</strong></p><p><span style="color: rgb(68, 68, 68);">通常應用于需要測定矢量負載（需要x，y和z位置坐標來進行描述）的場合。簡單的來說，就是需要測量多個方向力或力矩的場合。</span></p><p><br></p><p><strong style="color: rgb(51, 182, 177);">2）為何要使用多分量傳感器來替代多個單軸力傳感器？</strong></p><p><span style="color: rgb(68, 68, 68);">一個多分量傳感器占用空間更小，安裝測量更加方便，并且節約成本。</span></p><p><br></p><p><strong style="color: rgb(51, 182, 177);">3）為何醫療設備需要多分量傳感器？
展開 多傳感器融合，叩開自動駕駛大門
想要真正意義上實現自動駕駛，在產業鏈的積極配合下還有很多問題需要去攻克。目前來看，在硬件方面還沒有完全達到自動駕駛要求，仍需要不斷完善，正如多傳感器的相互融合。
多個傳感器串/并聯該怎么接線？
圖1 兩線制傳感器開關串聯接線圖
0
2
三線制傳感器的串聯方法
三線制的傳感器開關，棕色（褐色）為直流正極，藍色為直流負極，黑色線為信號線，我們以NPN型傳感器為例，單個傳感器接線如下圖2所示：
圖2 三線制接線示意圖
如圖三所示，在串聯的時候，我們將A、B傳感器的棕色線同時接到24V正極，A傳感器黑色線（OUT）接入負載（PLC，如果是繼電器線圈則OUT要接入繼電器線圈正極）；A傳感器藍色線和B的黑色（OUT）線短接，B的藍色線接入24V負極。
圖3 三線制傳感器串聯接線圖
0
3
傳感器開關的并聯
設備的某個工位上有多個同時動作的模組，但只需要采集一個IO時，我們可以將其傳感器并聯起來。
如下圖所示，兩線制的傳感器在并聯時，如果是源型接法，只需要將A和B的棕色（褐色）連起來接入信號，藍色線接入0V；漏型接法反之。
圖4 兩線制的并聯方法
若是三線制傳感器，則需要將每組相同的線并接，即A和B的棕色（褐）并接入24V正極，藍色并接入24V負極，兩個傳感器的黑色輸出接入負載IO。
注意：A和B傳感器必須都是同一個類型的（同PNP或NPN）。
展開 