GMSL
關注創建者：佳云芯睿 創建時間：2023-03-13
GMSL的實例教程
同精確控制 CSI-2/GMSL2 協議棧，確保信號的物理層保真度。并運用 I2C 作為控制與調試的“生命線”，確保復雜鏈路的穩定建立與監控。
02 系統架構概覽
高保真實時仿真注入系統的核心目標，是將仿真環境中生成的傳感器數據，以極低的延遲和與真實傳感器別無二致的物理信號特性，注入到待測的設備（DUT）中。這套系統的典型架構由三個關鍵部分組成：仿真主機（Simulation Host）、數據注入設備（Injection Device）和待測設備（DUT, Device Under Test）。
數據流的完整流程如下：
（1）數據生成：仿真軟件aiSim在仿真主機上根據預設場景生成相機的原始圖像幀數據；
（2）數據傳輸：這些原始數據通過網絡被發送到數據注入設備；
（3）數據處理與編碼：注入設備上的應用程序（如camera_sensor.cpp中的邏輯）接收數據。為了實現最低延遲，數據被直接送入一塊專用的硬件板卡（proFRAME）；
（4）DMA/RDMA傳輸：數據通過PCIe總線，利用直接內存訪問（DMA）或遠程直接內存訪問（RDMA）技術，被高效地傳輸到注入板卡的內存或板載GPU內存中，此過程最大限度地減少了CPU的干預；
（5）CSI-2/GMSL2封裝：板卡上的FPGA或專用處理器（ASIC）將內存中的圖像數據打包成CSI-2協議格式，并驅動GMSL2序列化器（Serializer）芯片將其轉換為高速串行信號；
（6）物理注入：GMSL2信號通過同軸電纜傳輸到DUT的GMSL2解串器（Deserializer），DUT的處理器（SoC）通過其CSI-2接口接收到圖像數據，就像從一個真實的相機接收一樣。
展開 2、多模態傳感器融合
為了實現對環境的全面感知，單車集成了復雜的傳感器組，包括：
視覺傳感器： 華陽 GMSL2 3M 相機（前后共4路）
激光雷達： 主雷達 + 補盲雷達（前后共6顆）
毫米波雷達： ARS410（前后共2顆）
定位與姿態： IMU hwt905-CAN（前后共2顆）
車輛總線： CAN數據采集
傳感器布局：
前端布局（左）、后端布局（右）
3、核心痛點：隧道內的時空同步
無GPS信號： 隧道內無法獲取衛星授時（GPS/GNSS），傳統依賴PPS/NMEA的同步方式失效。
高帶寬并發： 多路激光雷達與高分辨率相機的同時接入，對采集系統的帶寬和寫入速度提出了巨大挑戰。
惡劣工況： 隧道施工現場震動大、粉塵多，要求設備具備極高的工業級穩定性。
二、 解決方案概覽
針對上述挑戰，我們提出了兩套差異化的技術路線：“極致性能方案（方案一）”與“高性價比方案（方案二）”，以滿足不同研發階段的需求。
1、方案一：工業級硬同步方案 (BRICKplus + MDILink)
此方案采用了德國b-plus的數據采集生態系統，主打硬件級時間同步和高可靠性。
數采系統方案架構圖
（1）核心算力與存儲： 使用 BRICKplus 工控機，搭載8TB大容量BRICK STORAGE存儲模塊。設備支持寬溫運行，抗震等級高，專為車載環境設計。
加裝了BMC-ETH6000和CAN拓展模塊的 BRICKplus
（2）無損數據接入：通過 MDILink 轉換器，將相機的GMSL2信號無損轉換為萬兆/千兆以太網數據。
展開 可以支持美信GMSL信號和TI FPD-LINK協議。
3.2.13 視頻輸入信號測試
DUT 具有多路視頻輸入信號（投屏輸入，和環視攝像頭， DMS， FWRC， FLRC，RLRC， LSCF，LSCR，RSCR，RSCF），系統集成其對應匹配的攝像頭，并將其固定在鐘表前（可以正常拍攝到鐘表信息），DUT 采集鐘表畫面，進行自檢，并將自檢的信息反饋給系統，系統據此信息判定其功能是否正常。
高配方案采用NI FPD-LIK或者GMSL板卡產生模擬信號。
3.2.14 USS 超聲波雷達接口測試
DUT 上具有 多路超聲波雷達接口，系統集成對應匹配的超聲波雷傳感器模擬器，DUT 進行自檢，將自檢結果反饋給系統，以此數據來判定該功能是否正常。
3.2.15 USB 測試
DUT 上具有兩個 USB 轉接口，系統配置對應數量的 U 盤。
USB1 接口上連接的 U 盤儲存 1KHz 的音頻文件，DUT 自行讀取，并且在藍牙音響輸出，系統采集音響輸出的電壓和頻率信息，判定 USB1 接口工作是否正常。
USB2 接口上連接的 U 盤儲存甲方提供的固定文件，DUT 自行讀寫，并將自檢結果反饋給系統，系統以此數據，判定 USB2 接口工作是否正常。
高性能測試時，使用高端示波器識別USB2.0，USB3.0等信號，配置對應的協議對USB信號進行測試。
3.2.16 其他信號接口測試
DUT 上具有一部分現在汽車常用的通用接口。其分為兩類：
PWM/開關信號輸入，系統通過通用信號數據采集系統向對應接口提供開關或 PWM 信號，DUT 采集信號后反饋給系統，系統對比提供的信號和反饋的報文信息，以此判定對應功能是否正常。
展開 “車載攝像頭”接口協議需求一般采用FPDLink或GMSL兩種形態。其中，FPDLink是在LVDS基礎之上建立起來的通信標準，也是第一次對LVDS規范的應用，FPD Link包括SERIALIZER和DESERIALIZER端。由于FPDLink更加適用于高速數字視頻接口，因此，在下一代自動駕駛域控制芯片外圍接口中應用更加廣泛。GMSL是Maxim公司推出的一種高速串行接口，適用于視頻、音頻和控制信號的傳輸，使用50Ω同軸電纜或100Ω屏蔽雙絞線(STP)電纜時的距離可達15m或更長。FPDLink與GMSL在視頻傳輸上實際沒有明顯的區別，關鍵還是看定點的攝像頭供應商是否支持該接口協議。
此外，對于面向下一代自動駕駛系統的圖像處理技術，也會需要在如下相應的方面做出較大的提升。
①差異化的應用：
即圖像處理將面對不同的應用場景，如包含目標對象的實際檢測、可行駛區域檢測、場景語義分割、駕駛員監控、視覺SLAM等。
②高算力和高計算性能：
即圖像處理過程中需要系統具備足夠的算力將數萬億次的深度學習算法數據運行起來，同時需要確保該原酸效力能夠達到最優。
③神經網絡加速能力：
網絡加速即包含對相關處理單元（如CPU、GPU、TPU、FPGA、DSP等）的最大性能、靈活性、功耗及嵌入式代價問題的實際處理能力。
這里我們需要重點講一下關于網絡陣列最優化過程能力。該過程主要是通過將轉換張量劃分為3-D切片來實現。具有數百甚至數十億參數的深度網絡，傳統 CPU 對如此龐大的網絡一籌莫展，只有具有高計算能力的 GPU 才能讓網絡得以相對快速訓練。
展開 支持8路ADC采樣，支持搭載車載攝像頭（GMSL等）。同時支持使用USB輸入、輸出數據。
內部采用ARM+FPGA架構，數據經過處理后，可通過SATA SSD或NVME SSD存儲，亦或是通過4G/5G板卡向云端傳輸。內置隨車狀態顯示器，可以實現司機/工程師隨時查看采集狀態。同時支持無線WiFi，工程師可手持電腦、iPad、手機等設備查看。
?? 云端介紹
采集的數據可以上傳至云平臺——經緯恒潤自研的AD Here平臺，可私有部署，具有各類總線、傳感器數據等大數據分析能力。實現工程師遠程分析車輛數據，更加便捷。
應用
對于智駕領域應用，該平臺同樣可以支持車載攝像頭、激光雷達、毫米波雷達、CAN總線、GPS/IMU/RTK等數據采集。另外還可以作為算法快速原型驗證平臺，將算法部署在ARM A53或FPGA加速器上。具備V2X采集接口，可使用平臺實現V2X數據采集。
部分客戶：
總結
多功能車隊數據采集平臺具有多種傳感器數據接入、高帶寬、大容量存儲、無線傳輸、體積小巧等諸多方面的優勢。當所有數據由車隊匯總至云端時，工程師可以在云端進行大量統計數據分析，為快速的整車測試、智能駕駛測試等方面助力加速，應對整車廠和供應商面對數據量大、驗證里程多、驗證周期長的挑戰。
展開 
GMSL的最新內容
三、應用案例
該HIL 方案已在多家頭部企業應用，此外國產車輛動力學聯合仿真HiL臺架也已搭建完成，典型案例包括：
國產車輛動力學聯合仿真HiL臺架
（1）英偉達 Hyperion 8.1 L3 閉環 HiL 項目：多節點分布式部署，支持 12 Camera+9 Radar+1 LiDAR 配置，通過 GMSL/Ethernet 接口實現傳感器數據注入，滿足高階智駕系統全場景測試需求
加裝了BMC-ETH6000和CAN拓展模塊的 BRICKplus
（2）無損數據接入：通過 MDILink 轉換器，將相機的GMSL2信號無損轉換為萬兆/千兆以太網數據。SerDes測量數據轉換器，適配GMSL、CSI-2、FPDLink等多種接口的傳感器，實現無損解耦原始數據和時間戳。接收端軟件可將RAW數據轉換并存儲為AVI、MP4等格式，便于分析和處理。
例如，GigE Vision相機、CAN總線雷達、GMSL相機等設備即便同一時刻下發觸發，數據流入主機時刻仍然錯位。</p><h3><strong>2.3 滯后的時間戳</strong></h3><p>若在數據進入操作系統內核或應用層后才為其打上時間戳，那么這個時間戳已經疊加前述所有的觸發和傳輸延遲的影響。用這個“被污染”的時間戳進行數據對齊，會導致后續的融合與算法都建立在錯誤的前提之上。
GMSL2序列化器（Serializer）芯片將其轉換為高速串行信號；
（6）物理注入：GMSL2信號通過同軸電纜傳輸到DUT的GMSL2解串器（Deserializer），DUT的處理器（SoC）通過其CSI-2接口接收到圖像數據，就像從一個真實的相機接收一樣。
可以支持美信GMSL信號和TI FPD-LINK協議。
、小尺寸和穩健運行，適用于惡劣環境或主動路測
不斷發展的標準和要求：確保支持各種有線和無線協議
耐用性和多功能性：性能穩健，具有容錯能力
現代汽車中使用了各種車內協議
協議分析工具需要支持多種接口，ADI的產品組合包括CAN、LIN、SENT、GMSL
所以在車輛上，我們需要將其轉換成例如GMSL等適合在車上長距離傳輸的高速總線標準進行傳輸，所以相機模組內部通常會通過串行板進行總線的轉換。另外同軸電纜既可以用來為模組提供電源，也可以傳輸圖像數據。
光學鏡頭：負責聚焦光線，將視野中的物體投射到成像介質表面，根據成像效果的要求不同，可能要求多層光學鏡片。
支持8路ADC采樣，支持搭載車載攝像頭（GMSL等）。同時支持使用USB輸入、輸出數據。
內部采用ARM+FPGA架構，數據經過處理后，可通過SATA SSD或NVME SSD存儲，亦或是通過4G/5G板卡向云端傳輸。內置隨車狀態顯示器，可以實現司機/工程師隨時查看采集狀態。同時支持無線WiFi，工程師可手持電腦、iPad、手機等設備查看。
GMSL是Maxim公司推出的一種高速串行接口，適用于視頻、音頻和控制信號的傳輸，使用50Ω同軸電纜或100Ω屏蔽雙絞線(STP)電纜時的距離可達15m或更長。FPDLink與GMSL在視頻傳輸上實際沒有明顯的區別，關鍵還是看定點的攝像頭供應商是否支持該接口協議。
就目前自動駕駛系統中廣泛運用的攝像頭技術為例，一個800萬像素的攝像頭，在攝像頭硬件接線是如果采用GMSL2 ，可以讓圖像捕捉達到約30幀的采集幀率，數據帶寬已經在6Gbps 以上。
基于 SOA 架構，我們希望把圖像數據的捕捉作為一個服務，圖像數據“發布(Publish)” 出來，多個數據處理的服務去“訂閱（Subscribe）”，獲取數據并利用。
