多模態數據采集的案例
賦能智慧隧道施工：工程車輛多模態數據采集系統
近期，在和眾多該類客戶的溝通過程中，我們觀察到了一些被頻繁提到的客戶需求和場景痛點，針對于此，以隧道運輸設備——MSV膠輪車為例，本文為該類客戶量身定制了一套高性能多模態數據采集方案。
本文將從客戶的實際痛點出發，詳細拆解如何在無GPS信號、環境惡劣的隧道場景中，實現高精度、多傳感器的數據融合與采集。
一、 客戶需求與場景痛點
1、復雜的作業環境與對象
本次搭載對象為MSV膠輪車（用于TBM隧道施工物料運輸）。車輛長期運行于狹長、封閉的隧道內部，且需要分別在車輛的“前端”和“后端”搭載兩套獨立的感知系統，以滿足雙向行駛的作業需求。
2、多模態傳感器融合
為了實現對環境的全面感知，單車集成了復雜的傳感器組，包括：
視覺傳感器： 華陽 GMSL2 3M 相機（前后共4路）
激光雷達： 主雷達 + 補盲雷達（前后共6顆）
毫米波雷達： ARS410（前后共2顆）
定位與姿態： IMU hwt905-CAN（前后共2顆）
車輛總線： CAN數據采集
傳感器布局：
前端布局（左）、后端布局（右）
3、核心痛點：隧道內的時空同步
無GPS信號： 隧道內無法獲取衛星授時（GPS/GNSS），傳統依賴PPS/NMEA的同步方式失效。
高帶寬并發： 多路激光雷達與高分辨率相機的同時接入，對采集系統的帶寬和寫入速度提出了巨大挑戰。
惡劣工況： 隧道施工現場震動大、粉塵多，要求設備具備極高的工業級穩定性。
二、 解決方案概覽
針對上述挑戰，我們提出了兩套差異化的技術路線：“極致性能方案（方案一）”與“高性價比方案（方案二）”，以滿足不同研發階段的需求。
展開 汽車多總線數據采集：挑戰、架構與同步策略全解析
因此，我們可以看到在智能輔助駕駛從“功能驗證”到“場景攻堅”的關鍵階段，真實、高質量的數據是算法性能提高的基石。尤其在極端天氣、顛簸路面和電磁干擾等惡劣工況下，如何實現多源傳感器數據的高可靠采集、高精度同步與高效率處理，是行業中常遇到的難題。
下文將結合行業實踐，系統拆解多總線（CAN/LIN/100BASE-T1等）數據采集方案的核心痛點、架構設計、同步策略與系統搭建，為從事智能汽車數據閉環開發的工程師提供一套可落地的技術參考。
二、關鍵技術挑戰
多總線數據采集常被簡化為硬件連接問題，但在工程化落地時，需系統應對四重挑戰，這直接決定了數據能否真正用于算法迭代。
協議與接口復雜：常用一套硬件同步采集車載以太網、CAN/CAN FD、FlexRay、LIN及多路視頻，并支持靈活擴展以適應不同測試場景。
時間同步要求極高：多傳感器數據融合依賴納秒級時間對齊，且須在系統啟動異常（如時間復位）等邊緣場景下保持同步不中斷。
車規級可靠性嚴苛：系統在-40℃~85℃、持續振動及強電磁干擾環境中穩定運行，并通過冗余設計杜絕數據丟失。
數據需直接賦能算法：采集系統應支持基于工程數據庫的信號級解碼，并輸出與平臺無縫銜接的格式，提升數據可用性。
三、硬件架構設計
為應對上述挑戰，硬件系統需采用模塊化、車規化、高密度的設計思路。以下是一個經過驗證的架構實例：
（1）核心記錄單元：采用強固型工控機，采用寬溫操作與豐富擴展槽，為后續擴展提供地基。
（2）總線采集網絡（關鍵）：
a. 以太網部分：通過 CM 100 HIGH 模塊接入多達12路100BASE-T1車載以太網，這是智駕數據主干。
b.
展開 賦能商用車 ADAS 研發：多傳感器數據采集方案
通過采用aiSim軟件對傳感器位姿和采集范圍進行仿真，對傳感器配置布局可以快速有效驗證合理性，降低調試成本。
（1）必選配置：含環視多相機、主 LiDAR、360° 毫米波雷達及雙天線 GNSS + 底盤 IMU，滿足基礎感知與定位；
（2）強化配置：增設盲區近場 LiDAR、4D 毫米波雷達，提升融合能力與抗干擾性；
（3）可選配置：在駕駛室增設第二 IMU，實現艙上傳感器運動補償與標定保持。角模塊化設計將同側相機、LiDAR、雷達集成，減少設備相對運動，保障標定與時間同步精度。
在硬件架構層面，該方案打造商用車級定制化硬件架構，以高同步、高帶寬、高可靠、高拓展為核心打造專屬硬件架構，適配復雜工況。基于 PTP 協議搭建高精度時間同步系統，采用高帶寬存儲工控機搭載高性能 CPU，和專用采集與同步板卡，實現相機、LiDAR、雷達的精準采集與時間打標；
在數據交互與導出環節，硬件端配備萬兆以太網、USB3.0等高速接口，支持多塊大容量移動硬盤備份插接，實現采集數據的快速導出與存儲。
2、多傳感器標定與采集
高精度標定是多傳感器數據有效融合的核心前提，更是為BEV模型空間對齊、跨模態融合提供精準位姿基準的關鍵。針對商用車多傳感器配置特點，我們打造了全鏈路標定流程，全面覆蓋相機內參標定、多傳感器外參標定、多相機環視聯合標定、LiDAR/雷達與相機聯合標定等各類核心標定場景，可實現所有傳感器空間位姿的精準對齊，同時配套標準化標定工具包，提升標定效率與規范性。
在軟件層面，我們的多傳感器數據采集上位機軟件，實現了數據采集、管理、后處理的全生命周期管控，全方位保障數據質量。
展開 康謀應用 | 基于多傳感器融合的海洋數據采集系統
該布局可以更有效的應對海面復雜環境下的數據采集。
三、數據采集
在面向無人艇數據采集時，需要使傳感器套件（四類傳感器）能夠同時采集數據，并具備時間同步，實時可視化、存儲和回放等能力。整體軟件架構采用ROS+傳感器集成方式，支持即插即用，使用便捷。
比如在iDS相機采集鏈路上，涉及到多相機同步采集的實現難度大、圖像數據的實時傳輸和存儲需求高和動態參數調整的靈活性不足等問題。通過定制化開發，采用ROS+PEAK SDK方案進行深度集成，實現了多相機同步采集、實時可視化、動態參數調整等功能，靈活適應海面復雜的采集環境，提高了系統的通用性。
四、總結
在海洋監測和無人艇控制領域，數據采集的準確性和可靠性至關重要。基于多傳感器融合的海洋數據采集系統方案，利用高性能的BRICKplus+ETH6000模塊作為中央處理單元，連接多個傳感器，能夠實現高速數據傳輸和同步。
該系統采用ROS框架與傳感器SDK進行定制開發，實現了多線程數據采集、處理和發布。同時支持配置文件動態加載傳感器參數，支持實時調整和優化，進而顯著提高了數據采集的同步性、實時性和可靠性，為無人艇的自主航行和控制算法訓練提供了高質量的數據支持。
展開 
康謀方案 | BEV感知技術：多相機數據采集與高精度時間同步方案
在BEV Camera數據采集方案中，進一步支持相機進行硬件時間同步。通過XTSS軟件可以有效管理數采平臺的時間同步功能，能夠快速輕便配備各個傳感器的時間同步配置。
圖6：XTSS 時間同步管理
通過GPS模塊提供高精度的時間基準，并利用支持硬件時間戳的以太網接口直接捕獲數據包的時間戳。其時間同步精度可以達到納秒級別，具備高穩定性，不受軟件和網絡延遲影響。
圖7：多相機硬件時間同步
五、總結
在自動駕駛技術的快速發展中，BEV Camera數據采集系統的構建至關重要。通過采用BRICKplus平臺，結合PCIe Slot ETH6000模塊和iDS相機，我們實現了多相機的高效數據采集和存儲。通過ROS+PEAK SDK的深度集成，實現了多相機的參數配置、數據采集與傳輸。利用GPS接收模塊和XTSS時間同步服務，確保了多相機的高精度時間同步。
康謀的BEV Camera數據采集方案有效解決了多相機同步采集和高精度時間同步的難題，還提供了靈活的相機參數配置和高效的數據傳輸，能夠滿足自動駕駛和高精度測量等場景的需求。
展開 AI行業七大趨勢：合成數據、多模態AI崛起
但該領域技術進步促使一些初創公司不斷拓展零代碼/低代碼解決方案，讓非技術用戶能夠參與數據科學項目，縮小技能差距，并加快生產周期。
多模態 AI 崛起
多模態 AI 正在打破單一感官的藩籬，使用一個通用 AI 模型科技將多種類型的數據所蘊含的語義信息概念化并作出預測。
在 2021 年初，OpenAI 發布了可以根據文本信息生成圖像的 AI 模型 DALL-E。
圖 | AI 根據文本提示生成牛油果形狀的扶手椅（來源：Open AI）
2022 年 1 月，OpenAI 發布了升級版 DALLE-2，生成圖像的畫質提升了 4 倍。
2022 年 5 月，谷歌推出了圖像生成器 Imagen。據稱，Imagen 在生成圖像的質量以及輸入文本和生成的圖像的一致性方面要優于 OpenAI 模型。
今年早些時候，Meta 發表了一篇名為 “不同視覺模態都能通吃的雜食者”的論文，其中詳細介紹了如果對一種 AI 模型進行識別 2D 圖像的預訓練，不經過額外的模態訓練，該模型也能可以識別視頻或三維圖像中的南瓜。
多模態 AI 正在從實驗室走到實際應用。例如，谷歌正在使用多模態 AI 來改進搜索體驗。未來，如果用戶上傳了一張登山靴的照片，并附上“我能穿著這雙靴子去富士山徒步旅行嗎?”的文字，搜索引擎將識別上傳的圖像，從文本、圖像和視頻數據中挖掘網絡上關于富士山的信息，并將這些瑣碎的信息連接起來，提供一個貼切的答案。
多模態 AI 正在走出實驗室，為搜索服務和內容生成等應用提供驅動力。
AI for AI
隨著 AI 技術應用延展，企業正在尋求徹底改變現有的數據管理模式的解決方案，轉向“AI 優先”策略。
說起來容易做起來難。從采集數據、運行數據質量檢查到開發模型和監測后期生產表現，一個項目從原始數據轉變為生產準備是一個多步驟的過程。
展開 TPAMI2021|深度學習行人重識別綜述與展望
重排序示例
2.4 數據集和評價
主要包括現有的一些常用圖像和視頻數據集的概括，以及現有方法SOTA的一些總結和分析，希望綜述里面的一些分析能夠在大家進行模型設計時提供一些思路和幫助。具體分析詳見原文。
Open-World Re-ID
由于常規的 Closed-world Re-ID 在有監督的
實驗場景中已經達到或接近瓶頸了，現在很多的研究都更偏向于 Open-World Re-ID 場景，也是當前Re-ID研究的熱點。根據Re-ID系統設計的五個步驟，本章節也從以下五個方面介紹：1）多模態數據，所采集的數據不是單一的可見光模態；2）端到端的行人檢索（End-to-end Person Search）,沒有預先檢測或跟蹤好的行人圖片/視頻；3）無監督和半監督學習，標注數據有限或者無標注的新場景；4）噪聲標注的數據，即使有標注，但是數據采集和標注過程中存在噪聲或錯誤；5）一些其他Open-set場景，查詢行人找不到，群體重識別，動態的多攝像頭網絡等。
展開 