本文選取了最近發表的車道線檢測論文，都是基于深度學習方法，但考慮的角度有所不同：檢測、分割和后處理等。

1. “Ultra Fast Structure-aware Deep Lane Detection，arXiv 2004.11757，4，2020

車道線檢測任務看成是基于全局圖像特征的行選擇（row selection）分類問題。其中提出一個structural loss 明確建模結構信息，速度很快，300+ FPS。

代碼上線：github.com/cfzd/Ultra-F.

如圖顯示如何選擇行的問題：在每個row anchor水平選擇。

設X是全局圖像特征，f是分類器選擇一行的車道線位置，即車道線預測定義為：

設T是位置的one-hot編碼，則分類器的優化形式是：LCE是cross entropy loss

下圖顯示分割和行選擇的區別：這種方法依賴的是整個圖像的感受野，遠遠大于分割網絡的有限感受野。

除了分類損失項，還有對location的建模。文中如此定義lane structural loss：它包括相似性和形狀（直線）的兩個loss函數項

其中

關于lane location

不過argmax操作是不能微分的，故此計算改成計算概率

這樣lane location變成可微分的操作

最終的損失函數為：

整個模型架構如圖所示：包括feature extractor，classification-based prediction和auxiliary segmentation task（只在訓練時，聚合局部特征和全局上下文信息）等，group classification在row anchor執行。

實驗結果如下：直觀例子

---

2 “PolyLaneNet: Lane Estimation via Deep Polynomial Regression“，arXiv 2004.10924，4，2020

PolyLaneNet，采用deep polynomial regression，速度達到115FPS。

代碼上線：?github.com/lucastabelin

如圖是其架構概覽：

實驗結果比較如下：

該方法的直觀結果：

3 “End-to-End Lane Marker Detection via Row-wise Classification“，arXiv 2005.08630，5，2020

傳統方法采取pixel prediction加post processing，而該方法是一種端到端的方式做direct lane marker vertex prediction，無需后處理。作者設計一種新的NN層，逐漸壓縮水平組件，叫horizontal reduction modules (HRMs)。它實現端到端檢測，其中位置基于argmax得到。這個模型叫E2E-LMD，直接預測lane marker vertex。如圖是其框架顯示：

E2E-LMD的架構圖如下：

其加入連續horizontal reduction modules擴展普通的encoder-decoder architectures。第一步：構建編碼器-解碼器；第二步：逐漸壓縮HRM的水平維度，無需改變垂直維度。最后一步：兩個分支row-wise vertex location branch和vertex wise confidence branch，分類和置信度回歸。

為提高檢測性能，采用了Squeeze and Excitation (SE) block，實現注意機制。如圖是加入SE前后的檢測變化：

實驗結果比較如下：

這是基于ERFNet主干網的定性檢測結果：

4. “CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending“， arXiv 2007.12147，7，2020

華為論文，curve lanes檢測很難，缺乏建模的長時上下文信息和帶細節的彎曲軌跡。提出一個lane-sensitive architecture search framework，CurveLane-NAS，自動獲取長時和短時曲線信息。包括三個部分：a) feature fusion search module，對multi-level hierarchy features找到較好的local and global context 融合 ; b) 彈性的backbone search module，開發帶語義和潛力的 feature extractor; c) adaptive point blending module，搜一個multi-level post processing renfiement strategy，以此組合multi-scale head prediction。

華為的開源車道線數據集CurveLanes：大約150K images，90% 是彎曲車道線 (大概 135K images)，相比來說CULane Dataset (大約2.6K images) 和TuSimple Dataset ( 大約3.9K images)，如圖是一些比較例子。

之前的PointLaneNet 和Line-CNN這兩個方法，還是按照 proposal-based diagram 產生多個point anchor 或者 line proposals。CurveLane-NAS提出一個包括multi-level prediction heads 和 a multi-level feature fusion的搜索空間，包含了long-ranged coherent lane 信息和short-range curve 信息。

如圖檢測算法比較：(a) dense prediction based (SCNN), (b) proposal based (Line-CNN), (c) CurveLane-NAS。

NAS是網絡結構參數的自動調優。先定義搜索空間，然后通過搜索策略找出網絡結構，并進行評估，再以此反饋進行下一個迭代的搜索。搜索策略有基于強化學習的方法、基于進化算法的方法和基于梯度的方法等。基于進化算法，CurveLane-NAS設計了一個搜索空間和一個基于樣本的多目標搜索算法，來檢測曲線車道。

下圖是NAS做車道線檢測的流水線架構：前面提到的三個模塊

如圖示意Point Blending Search模塊（取代NMS）：對每個預測頭，預測每格的offsets和相應的scores。每個lane prediction 可以被offset和point anchors位置來恢復。

Adaptive score masking 允許在 multi-level prediction存在多個ROI。point blending 技術可以用準確的局部點取代一些高置信度anchor的預測點。而遠端更細的curve shape則用local points修復。

實驗結果比較如下：

直觀比較圖：

5. “Heatmap-based Vanishing Point boosts Lane Detection“，arXiv 2007.15602，7，2020

利用幾何結構信息，vanishing point，提出一個多任務融合框架，基于ERFNet，圖像分割模型，heatmap regression預測車道線的消失點VP。其示意圖如下所示：

實驗結果比較如下：

6. “LDNet: End-to-End Lane Detection Approach using a Dynamic Vision Sensor”，arXiv 2009.08020，9， 2020

車道線檢測的挑戰：光照變化、太陽強光、運動模糊等等。這里采用事件攝像頭（event camera）的動態視覺傳感器，提出Lane Detection using dynamic vision sensor (LDNet)。

如圖看普通攝像頭和事件攝像頭的區別：

下圖是LDNet的架構：

其中采用的空洞SPP：

還有Attention模塊結構：

下表給出實驗結果比較：

7. “RONELD: Robust Neural Network Output Enhancement for Active Lane Detection“，arXiv 2010.09548， 11， 2020

主動車道（active lane）劃定單個道路的空間。檢測的挑戰來自外界的光照和車道自身單調表觀。本文提出的方法實際上是一種增強方法，即real-time robust neural network output enhancement for active lane detection (RONELD)。其利用深度學習模型得到的概率圖，包括以下模塊：自適應車道點檢測、彎曲車道檢測、車道重建和跟蹤等，如圖所示。注：這里采用了兩個模型SCNN和ENet-SAD做實驗。

這里是一些增強結果的比較：兩個數據集測試

8. “Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection“，arXiv 2010.12035，11，2020

LaneATT，和Line-CNN一樣的，基于錨點的車道線檢測方法，類似YOLO3和SSD。除了局部信息，也強調全局信息，比如遮擋、缺失或者弱顯示等情況下的處理。該方法實時性強 （速度250FPS），在三個基準數據集測試過：TuSimple, CULane 和 LLAMAS。

其架構如圖：除了錨點的特征池化（類似Fast R-CNN），還有attention機制的采用。

如下是結果比較：

9. “End-to-end Lane Shape Prediction with Transformers“，arXiv 2011.04233， 11，2020

無所不在的Transformers，很善于學習全局上下文，針對車道線這種細長結構，直接估計車道線形狀模型，即lane shape model。

代碼上線：liuruijin17/LSTR

用cubic curve定義平坦路面的車道線

那么曲線投影到圖像平面變成：（假設光軸和路面平行）

如果攝像頭斜著不與路面平行，則：

修正的曲線方程變成：

Hungarian fitting loss 在預測參數和真值車道線做bipartite matching，找到positives和negatives，很有效。

如圖所示是主干架構：包括一個reduced transformer network, 幾個feed-forward networks (FFNs) 做parameter predictions, 和Hungarian Loss。

給定輸入圖像I, 主干提取low-resolution feature，并扁平成 序列S；S和positional embedding Ep 輸入編碼器，輸出表示序列Se；然后解碼器產生輸出序列Sd，其中輸入查詢序列 Sq 和一個學習的positional embedding ELL，然后計算其與Se、Ep的交互，得到特征；最后多個FFNs 直接預測輸出參數。

如圖是編碼器和解碼器結構：

實驗結果比較如下表：

下圖是TuSimple數據集的比較：

下面是在FVL數據集的transfer結果：沒有額外訓練

10. “End-to-End Deep Learning of Lane Detection and Path Prediction for Real-Time Autonomous Driving”，arXiv 2102.04738，2，2021

提出three-task convolutional neural network (3TCNN)，包括一個bounding box的regression分支、一個Hu moments的regression分支和一個classification分支。其中Hu moments回歸能做車道線定位和道路引導。另外，本文特別點是一個lateral offset-path prediction （PP）模塊，能夠預測駕駛道路，包括車道中心線動態估計和道路曲率估計。

如圖是其實現在TORCS的結構：

3TCNN的模型架構如下：

實驗結果比較3TCNN和2TCNN（沒有Hu moments分支）如下：

而3TCNN-PP集成的結果在TORCS的模擬環境測試性能如下：

11 “Robust Lane Detection via Expanded Self Attention“，arXiv 2102.07037，2，2021

本文是采用self attention機制，可用于編碼器-解碼器結構的NN模型，主要就是提取全局信息，在三個基準數據測試TuSimple、CULane和BDD100K。其利用車道線的簡單結構，預測車道線在圖像沿著水平和垂直方向的可信度，分為HESA (Horizontal Expanded Self Attention) 和 (Vertical Expanded Self Attention)。該方法類似SAD，但提出了基于confidence的遮擋解決方法。

ESA結構如下：編碼器和HESA/VESA

ESA編碼器-解碼器的NN模型結構如下：

一些實驗結果比較如下：三個測試數據集