來源 |  3D視覺工坊

RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving

Qin T, Zheng Y, Chen T, et al. RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving[J]. arXiv preprint arXiv:2106.02527, 2021. ICRA 2021

單位：華為

針對問題：

針對基于視覺的眾包高精度地圖構建以及動態(tài)更新的需求

提出方法：

文章提出了一套基于視覺的眾包建圖系統(tǒng)框架，多個建圖車輛本地端建圖，并傳輸?shù)皆贫巳诤?，能夠?qū)Ω呔鹊貓D進行較為方便且有效的地圖更新。

達到效果：

文章在作者錄制的數(shù)據(jù)集中實現(xiàn)了城市大場景范圍內(nèi)的快速建圖及動態(tài)更新，并基于此高精地圖實現(xiàn)精確魯棒的定位效果。

存在問題：

文章所構建的高精度地圖在實現(xiàn)定位過程中仍采用了ICP加濾波融合的方式，對于分割結果和測距性能的限制，建圖過程中的重影問題仍需進行后續(xù)調(diào)整，同樣場景中的三維標識未能加以建圖及利用。

Abstract

精確的定位對于自主駕駛?cè)蝿諄碚f是至關重要的。如今，我們已經(jīng)看到很多傳感器豐富的車輛（如機器人出租車）在街上自主行駛，它們依賴于高精度的傳感器（如激光雷達和RTK GPS）和高精度地圖。然而，低成本的生產(chǎn)型汽車無法承擔如此高的傳感器和地圖的費用。如何降低成本？傳感器豐富的汽車如何使低成本的汽車受益？在本文中，我們提出了一個輕量級的定位解決方案，它依賴于低成本的相機和緊湊的視覺語義地圖。該地圖很容易由傳感器豐富的車輛以眾包的方式產(chǎn)生和更新。具體來說，該地圖由幾個語義元素組成，如車道線、人行橫道、地面標志和路面上的停車線。我們介紹了車載地圖、云上維護和用戶端定位的整個框架。地圖數(shù)據(jù)是在車輛上收集和預處理的。然后，眾包的數(shù)據(jù)被上傳到云服務器。來自多個車輛的海量數(shù)據(jù)在云端被合并，以便及時更新語義地圖。最后，語義地圖被壓縮并分發(fā)到生產(chǎn)汽車上，這些汽車使用該地圖進行定位。我們在現(xiàn)實世界的實驗中驗證了所提出的地圖的性能，并將其與其他算法進行比較。語義地圖的平均大小為36kb/km。我們強調(diào)，這個框架是一個可靠和實用的自主駕駛的定位解決方案。

Main contributions:

我們提出了一個新穎的框架，用于自主駕駛?cè)蝿罩械妮p量級定位，該框架包含車輛建圖、云上地圖維護和用戶端定位。

我們提出了一個新穎的想法，即使用富含傳感器的車輛（如機器人出租車），使低成本的生產(chǎn)汽車受益，含有傳感器的車輛每天收集數(shù)據(jù)并自動更新地圖。

我們進行真實世界的實驗測試，以驗證所提出的系統(tǒng)的實用性。

System Overview

該系統(tǒng)由三部分組成。第一部分是本地端建圖。使用配備有前視攝像頭、RTK-GPS和基本導航傳感器（IMU和輪速計）的車輛。這些車輛被廣泛用于機器人出租車的應用，每天收集大量的實時數(shù)據(jù)。通過分割網(wǎng)絡從前視圖像中提取語義特征。然后，語義特征被投射到基于優(yōu)化的車輛位姿的世界坐標系中。在車輛上建立一個本地語義圖。這個本地地圖被上傳到一個云地圖服務器。

第二部分是云上建圖。云服務器收集來自多個車輛的本地地圖，本地地圖被合并成一個全局地圖。然后通過輪廓提取對全局地圖進行壓縮。最后，壓縮后的語義地圖被發(fā)布給最終用戶。

最后一部分是終端用戶定位。終端用戶是生產(chǎn)型汽車，它們配備了低成本的傳感器，如攝像頭、低精度的GPS、IMU和輪速計。終端用戶從云服務器下載語義地圖后，對其進行解碼。與車載地圖部分相同，語義特征是通過分割從前視圖像中提取的，通過語義特征匹配，根據(jù)地圖對車輛進行定位。

On-Vehicle Mapping

Image Segmentation

在本文中，前視圖像被分割成多個類別，如地面、車道線。攔車線、路標、路邊、車輛、自行車和人。在這些類別中，地面、車道線、停車線和路標被用于語義建圖，其他類別可用于其他自動駕駛?cè)蝿铡?/span>

Inverse perspective Transformation

與作者在AVP-SLAM中的做法一樣，在分割之后，語義像素從圖像平面逆向投影到車輛坐標下的地面平面。由于透視噪聲的存在，場景越遠，誤差越大。我們只選擇感興趣區(qū)域中的像素。這個ROI表示車輛前方的12米×8米的矩形區(qū)域。假設地面是一個平面，每個像素[u, v]在車輛的坐標下被投射到地面上（z等于0），如下所示。

Pose Graph Optimization

位姿圖的說明圖如上圖所示。藍色節(jié)點是車輛在某一時刻的狀態(tài)s，它包含位置p和方向q。操作R(q)將四元數(shù)轉(zhuǎn)換成旋轉(zhuǎn)矩陣。有兩種邊緣。藍色邊表示GNSS約束，它只存在于GNSS良好的時刻，它只影響一個節(jié)點。綠色邊表示里程計約束，它在任何時候都存在。它制約著兩個相鄰節(jié)點。位姿圖的優(yōu)化可以被表述為以下公式：

其中，[·]xyz取四元數(shù)的前三個元素，大約等于流形上的誤差擾動。

Local Mapping

位姿圖優(yōu)化提供了一個可靠的車輛在每個時刻的位姿。在第i幀中捕捉到的語義特征在這個優(yōu)化位姿的基礎上從車輛的坐標轉(zhuǎn)換為全局坐標系。

從圖像分割來看，每個點都包含一個類別標簽（地面、車道線、路標和人行道）。每個點在世界框架中呈現(xiàn)一個小區(qū)域。當車輛行駛時，一個區(qū)域可以被多次觀察。然而，由于分割噪聲的存在，這個區(qū)域可能被分為 分為不同的類別。為了克服這個問題，我們使用統(tǒng)計學來過濾噪聲。地圖被劃分為小網(wǎng)格，其分辨率為0.1×0.1×0.1米。每個網(wǎng)格的信息包含位置、語義標簽和每個語義標簽的計數(shù)。語義標簽包括地面、車道線、停車線、地面標志和人行道。在開始時，每個標簽的分數(shù)為零。當一個語義點被插入到一個網(wǎng)格中時，相應標簽的分數(shù)就會增加1，因此，得分最高的語義標簽就代表了該網(wǎng)格的類別。通過這種方法，語義圖變得準確，并對分割噪聲具有魯棒性。

On-Cloud Mapping

Map Merging/Updating

一個云圖服務器被用來匯總由多個車輛捕獲的大量數(shù)據(jù)。它及時合并本地地圖，使得全局語義地圖是最新的。為了節(jié)省帶寬，只有本地地圖的占用網(wǎng)格被上傳到云端。與車載地圖繪制過程相同，云服務器上的語義地圖也被劃分為分辨率為0.1 × 0.1 × 0.1米的網(wǎng)格。本地地圖的網(wǎng)格根據(jù)其位置被添加到全局地圖中，具體來說，本地地圖的網(wǎng)格中的分數(shù)被添加到全局地圖的相應網(wǎng)格中，這個過程是并行操作的。最后，得分最高的標簽就是該網(wǎng)格的標簽。

Map Compression

在云服務器中生成的語義地圖將被用于大量生產(chǎn)汽車的定位。然而，生產(chǎn)汽車上的傳輸帶寬和車載存儲是有限的。為此，語義地圖在云端被進一步壓縮。由于語義地圖可以通過輪廓有效地呈現(xiàn)，我們使用輪廓提取來壓縮地圖。首先，我們生成語義地圖的俯視圖像。每個像素都呈現(xiàn)出一個網(wǎng)格。其次，提取每個語義組的輪廓。最后，等高線點被保存并分發(fā)到生產(chǎn)車中。

User-End Localization

Map Decompression

當終端用戶收到壓縮的地圖時，語義地圖是由等高線點解壓而成。在俯視圖像平面中，我們用相同的語義標簽填充等高線內(nèi)的點。然后，每個有標簽的像素被從圖像平面恢復到世界坐標系中。

ICP Localization

這個語義圖被進一步用于定位。與建圖程序類似，語義點是由前視圖像分割生成的，并投影到車輛坐標系中。然后，通過將當前特征點與地圖相匹配來估計車輛的當前位姿。估算采用了ICP方法，可以寫成以下公式:

最后采用了一個EKF框架，它將里程計和視覺定位結果融合在一起。濾波器不僅提高了定位的魯棒性，而且還平滑了估計的軌跡。

Experimental Results

Map Production

實驗車輛配備了RTK-GPS、前視攝像頭、IMU和輪速里程計的車輛被用于建圖。多輛車同時在城市區(qū)域內(nèi)運行，車上的地圖通過網(wǎng)絡上傳到云服務器上。

Map Production

實驗地區(qū)的道路網(wǎng)總長度為22公里。原始語義地圖的整體大小為16.7 MB。壓縮后的語義地圖的大小為0.786 MB。壓縮后的語義地圖的平均大小為36KB/KM。下圖顯示了地圖更新進展的一個詳細例子。該地區(qū)的車道線被重新繪制。圖(a)顯示的是原始車道線。圖(b)顯示了重新繪制后的車道線。重新繪制的區(qū)域在紅圈中被突出顯示。圖(c)為原始語義圖。圖(d)顯示了正在更新的語義地圖。新的車道線逐漸取代了舊的車道線。隨著越來越多的最新數(shù)據(jù)的合并，語義圖被完全更新。

Localization Accuracy

對于自主駕駛?cè)蝿?，我們重點關注X、Y方向和偏航（航向）角度的定位精度。與激光雷達比較的詳細結果如下?？梢钥闯?，所提出的基于視覺的定位比基于激光雷達的解決方案更好。

Conclusion & Future work

在本文中，我們提出了一個新穎的語義定位系統(tǒng)，它充分利用了傳感器豐富的車輛（如機器人出租車），使低成本的生產(chǎn)汽車受益。整個框架由車上建圖、云上更新和用戶端定位程序組成。我們強調(diào)，這是一個可靠而實用的自主駕駛定位解決方案。

建議的系統(tǒng)利用了路面上的標記。事實上，三維空間中更多的交通元素可用于定位，如交通燈、交通標志和電線桿。在未來，我們將把更多的三維語義特征擴展到地圖中。