車道線
關注創建者：320科技工作室 創建時間：2021-12-04
車道線的實例教程
來自TUSimple 數據集的示例圖像以及車道線掩碼
在這個數據集上，我們可以訓練一個語義分割模型來分割出屬于lane類的像素。U-Net model非常適合做這個，因為它是一個具有實時推理速度的輕量級模型。U-Net是一種帶有跳躍連接的編譯碼器和解碼器模塊的編譯碼器模型。模型架構如下所示。
來自U-Net論文的U-Net模型結構
然而，損失函數需要修改為Dice損失系數。車道線分割問題是一個極其不平衡的數據問題。圖像中的大多數像素屬于背景類。Dice Loss基于Sorenson-Dice系數，其對false positives和false negatives的重要性相似，這使得它在處理不平衡數據問題時表現得更好。Dice損失試圖匹配groundtruth和預測模型中的車道線像素，希望能夠得到一個清晰的邊界預測。
LaneNet模型
這里，我使用了LaneNet模型來生成車道線。LaneNet模型是一種兩階段車道線預測器。第一階段是一個編碼器-解碼器模型，為車道線創建分割掩碼。第二階段是車道先定位網絡，從掩碼中提取的車道點作為輸入，使用LSTM學習一個二次函數來預測車道線點。
下圖顯示了這兩個階段的運行情況。左邊是原始圖像，中間是階段1的車道線掩碼輸出，右邊是階段2的最終輸出。
LaneNet模型的解釋
生成智能告警
我將車道線預測與物體檢測結合起來，生成智能警報。這些智能警報可能涉及：
檢測其他車輛是否在車道線內，并量度與他們的距離
檢測鄰近車道上是否有車輛的存在
了解彎曲道路的轉彎半徑
在這里，我使用YOLO-v5來檢測道路上的汽車和人。
展開 本文選取了最近發表的車道線檢測論文，都是基于深度學習方法，但考慮的角度有所不同：檢測、分割和后處理等。
1. “Ultra Fast Structure-aware Deep Lane Detection，arXiv 2004.11757，4，2020
車道線檢測任務看成是基于全局圖像特征的行選擇（row selection）分類問題。其中提出一個structural loss 明確建模結構信息，速度很快，300+ FPS。
代碼上線：github.com/cfzd/Ultra-F.
如圖顯示如何選擇行的問題：在每個row anchor水平選擇。
設X是全局圖像特征，f是分類器選擇一行的車道線位置，即車道線預測定義為：
設T是位置的one-hot編碼，則分類器的優化形式是：LCE是cross entropy loss
下圖顯示分割和行選擇的區別：這種方法依賴的是整個圖像的感受野，遠遠大于分割網絡的有限感受野。
除了分類損失項，還有對location的建模。
展開 正常版：在馬路上尋找車道線
在這個項目中，本文建立了一個計算機視覺算法，用于檢測車道線并創建平均和外推的邊界線。 流程如下：
1）將幀轉換為灰度；
2）為黃色和白色像素創建蒙版；
3）應用高斯平滑；
4）應用Canny邊緣檢測；
5）創建一個額外的遮罩，以專注于車輛前方的“感興趣區域”；
6）將XY空間中的點（即像素）轉換為霍夫空間中的線；
7）霍夫空間中的線相交（即點）的地方，XY空間中存在一條線；
8）使用生成的線的極值，創建兩條平均線s；
9）在整個幀中創建兩條平均線，以實現流暢的視頻播放；10）在每幀上畫線。
從霍夫空間轉換后的原始線
可流暢播放的平均線
工作流程：
1）檢查霍夫返回的每條線，并根據其坡度確定是在左車道還是右車道。因為我們正在對陣列進行“上下顛倒”，所以左側車道的斜率為負，右側車道的正值為；2）極值；3）計算平均值；4）解決b截距；5）用極值求積分；6）流暢的幀和緩存。
從霍夫空間轉換后的原始視頻
可流暢播放的車道線視頻
困難版： 這篇文檔為自動駕駛汽車的車道線檢測和跟蹤提供了強大的解決方案。
步驟如下所示：
1）相機校準；2）失真校正；3）漸變和顏色閾值；4）透視變換；5）車道線搜索和搜索優化；6）繪制車道覆蓋。
相機校準
我們需要在棋盤上存儲對象點的數量或感興趣的位置。 僅考慮不在最外邊緣上的點。
展開 障礙物側面邊界點易被錯誤投影到世界坐標系，導致前車隔壁可通行的車道被認定為不可通行區域，如下圖：
道路分割方案：
其一，相機標定（若能在線標定最好，精度可能會打折扣），若不能實現實時在線標定功能，增加讀取車輛的IMU信息，利用車輛IMU信息獲得的俯仰角自適應地調整標定參數；
其二，選取輕量級合適的語義分割網絡，對需要分割的類別打標簽，場景覆蓋盡可能的廣；使用極坐標的取點方式進行描點，并采用濾波算法平滑后處理邊緣點。
4. 車道線檢測
車道線檢測包括對各類單側/雙側車道線、實線、虛線、雙線檢測，線型的顏色（白色/黃色/藍色）和特殊的車道線（匯流線、減速線等）檢測。如下圖所示：
車道線檢測難點：
線型種類多，不規則路面檢測車道線難度大；如遇地面積水、無效標識、修補路面、陰影情況下的車道線容易誤檢、漏檢。
上下坡、顛簸路面，車輛啟停時，容易擬合出梯形、倒梯形的車道線。
彎曲的車道線、遠端的車道線、環島的車道線，車道線的擬合難度較大，檢測結果易閃爍；
車道線檢測方案：
其一，傳統的圖像處理算法需經過攝像頭的畸變校正，對每幀圖片做透視變換，將相機拍攝的照片轉到鳥瞰圖視角，再通過特征算子或顏色空間來提取車道線的特征點，使用直方圖、滑動窗口來做車道線曲線的擬合，傳統算法最大的弊端在于場景的適應性不好。
展開 感知系統
通過激光雷達、高清網絡攝像頭、組合導航傳感器，并結合環境感知算法和傳感器融合算法，可以感知周圍環境信息，包括周圍交通參與者的類別、距離、速度、加速度、航向角等，以及周圍交通標志的距離、類型、顏色等，對于車道線檢測，還可以檢測是否越線，以及統計壓線次數等。
下面的動圖為在城市快速路場景，激光雷達通過多目標跟蹤、機器學習分類等算法輸出的感知效果。
激光雷達感知
為了減少單個傳感器的檢測不確定度，系統采用激光雷達+攝像頭的信息融合方案，結合激光雷達精度與攝像頭信息豐富的特點，融合效果如下圖所示。
激光雷達+攝像頭傳感器融合
通過相機標定與圖像特征提取，系統可以識別出車道線信息，具體包括車道線類型、與車道線距離、擬合出的車道線方程等。
車道線識別效果
VDA數據分析
VDA是恒潤自主研發的一款實車測試數據分析軟件，配合數據采集系統，可以支持各類場地測試和開放道路測試的關鍵指標自動提取、數據統計和測試報告自動生成。相比于傳統的人工分析，可以大幅度提升數據處理效率。
VDA目標信息分析界面
VDA支持的法規評價包和道路測試評價包
經緯恒潤
北京市海淀區知春路7號致真大廈D座6層
郵箱：market_dept@hirain.com
網址：www.hirain.com
展開 
車道線的最新內容
2D/2D3/3D 及拖車場景，滿足多車型、多場景測試需求
二、核心優勢
該HIL 方案可以幫助客戶實現成本、性能、安全的三重平衡：
首先成本優化層面，方案通過軟件架構革新與硬件資源高效利用，相比傳統方案整體測試成本降低 30%，避免硬件迭代帶來的重復投入，新增部署與升級改造均具備高性價比；
其次置信度層面，方案核心軟件aiSim通過 ISO 26262 ASIL D 功能安全認證，車道線檢測誤差標準差僅
二、核心技術特性
（1）動態與靜態對象的自動化 3D 標注
aiData Auto Annotator 超越了傳統解決方案，它能夠為動態交通參與者（如車輛、行人、騎行者、交通標志和紅綠燈）生成高精度的 3D 標注框，并自動標注車道線和路面標識等靜態元素。
當前市場上多數自動標注工具僅支持2D輸出，局限了數據在3D空間感知任務中的應用價值。
AI生成，僅供參考
對智駕算法而言，結構化道路具備高精地圖先驗信息、清晰的車道線與規范交通標志，測試條件相對明確。而非結構化道路則缺乏此類結構化信息，系統必須完全依靠自身感知與決策能力：
1、車道標識缺失或模糊：車輛需依賴視覺、雷達等多源數據實時判斷可行駛區域，無法直接依賴車道線進行跟蹤。
對齊方法：將重建場景與車載高精地圖（HD Map）進行坐標對齊，確保語義元素（車道線、交通標志）位置一致。
驗證流程：在重建場景的虛擬相機位姿下，渲染圖像并與拍攝的真實照片進行光照一致性對比，使用PSNR、SSIM等圖像質量指標進行量化評估。同時，驗證其在多模態傳感器（相機+LiDAR）下的一致性。
智能汽車合成數據架構與應用實踐分享10個月前
其合成數據生成流程需覆蓋：
1、地圖構建與拓撲建模：包括道路結構、車道線、交通信號、標識牌等。
2、動態體建模與行為建控：構建多類交通參與者并設定其行為模型，模擬現實中復雜交互。
3、環境建模與擾動注入：配置多維氣候、光照、背景動態因素，覆蓋實際采集中難以獲取的極端條件。
4、多模態傳感器仿真：同步輸出相機圖像、激光雷達點云、毫米波雷達信息等。
3、高精地圖建模
基于聚合點云手工標注道路元素：車道線、交通標志、人行道、護欄、紅綠燈等。輸出為GeoPackage格式的HD Map，用于自動駕駛系統參考。
通過駕駛模擬器采集的數據
駕駛員的輸入：如加速、減速、轉彎等駕駛行為；
駕駛員行為：如生理信號得出的疲勞和分心狀態、眼動信息（眼動儀）、皮膚電信息等；
車輛的動態信息：如速度、加速度、姿態信息等；
道路信息：如車輛位置、道路坡度、車道線信息等；
交通參與者信息：如與前車相對距離等；
主車傳感器信息：如Camera、Lidar、Radar識別后的信息等；
車道保持（LKA）：車道線識別能力、方向修正準確性等。
二、性能測試
評估系統在不同環境和負載下的穩定性、響應速度和資源占用情況。
系統運行性能處理器 / 芯片算力：多任務處理時的延遲、卡頓情況（如導航 + 音樂播放 + ADAS 同時運行）。內存 / 存儲性能：數據讀寫速度、存儲空間利用率（如地圖數據加載速度）。
它們是自動駕駛汽車與環境的初始接觸點，表示系統對周圍環境的感知程度，有助于在開發的早期階段突出性能不佳的情況，例如誤報對象檢測、車道線提取失敗等。
第二層指標關注AD/ADAS系統采取的控制和行為動作。例如，對于自動緊急制動（AEB）系統，需要檢查制動信號是否在正確的時間觸發，進而產生更好的減速。
第三層指標是指乘客可能體驗到的舒適度。
[16-32]：回歸反射，表示材料具有逆反射特性，允許光線沿著接近入射角度相反方向反射回去，適用于交通標志，施工標志，車道線等。
[32-64]：清漆（透明）層，表示材料物體的材質將會模擬出光滑有光澤的表面，通常應用于在汽車表面，塑料制品等具有透明保護層的3D模型。
