作者 | ouster（翻譯:仿佛若有光）

來源 | CV技術(shù)指南

前言：

本文源自ouster(一家激光雷達公司)的博客，以往激光雷達和相機都是作為單獨的傳感器，在算法上對各自的數(shù)據(jù)做融合。這家公司開發(fā)了數(shù)字激光雷達OS1，在硬件上實現(xiàn)了對相機和激光雷達的融合。

 

OS1 模糊了激光雷達和相機之間的界限

三年前我們開始開發(fā) OS1 (中距激光雷達)時，很明顯，針對相機的深度學(xué)習(xí)研究已經(jīng)超過了激光雷達研究。激光雷達數(shù)據(jù)具有令人難以置信的優(yōu)勢——豐富的空間信息和與光照無關(guān)的傳感等等——但它缺乏相機圖像的原始分辨率和高效的陣列結(jié)構(gòu)，而且 3D 點云仍然更難以在神經(jīng)網(wǎng)絡(luò)中編碼或使用硬件進行處理加速度。

 

考慮到兩種傳感模式之間的權(quán)衡，我們從一開始就著手將激光雷達和相機的最佳方面整合到一個設(shè)備中。今天，我們將發(fā)布固件升級和更新我們的開源驅(qū)動程序，以實現(xiàn)這一目標(biāo)。OS1 現(xiàn)在無需攝像頭即可實時輸出固定分辨率的深度圖像、信號圖像和環(huán)境圖像。數(shù)據(jù)層在空間上完全相關(guān)，具有零時間不匹配或快門效應(yīng)，并且具有每像素 16 位和線性照片響應(yīng)。一探究竟：

從 OS1 輸出的同步實時圖像層。 您從上到下看到的是環(huán)境、強度、范圍和點云數(shù)據(jù) - 全部來自我們的激光雷達。 請注意，環(huán)境圖像捕獲了多云的天空以及樹木和車輛的陰影。

 

OS1 的光學(xué)系統(tǒng)具有比大多數(shù)數(shù)碼單反相機更大的光圈，而且我們開發(fā)的光子計數(shù) ASIC 具有極低的光敏度，因此即使在弱光條件下我們也能夠收集環(huán)境圖像。OS1 捕獲近紅外信號和環(huán)境數(shù)據(jù)，因此數(shù)據(jù)與同一場景的可見光圖像非常相似，這使數(shù)據(jù)看起來很自然，并且很有可能為相機開發(fā)的算法很好地轉(zhuǎn)化為數(shù)據(jù)。將來，我們將努力從這些環(huán)境圖像中去除固定模式噪聲，但我們希望同時讓客戶獲得數(shù)據(jù)！

 

我們還更新了我們的開源驅(qū)動程序以將這些數(shù)據(jù)層輸出為固定分辨率的 360° 全景幀，以便客戶可以立即開始使用新功能，并且我們提供了一個基于 VTK 的新跨平臺可視化工具，用于查看、記錄，并在Linux、Mac 和 Windows 上并排播放圖像和點云。傳感器輸出的數(shù)據(jù)不需要后處理即可實現(xiàn)此功能——神奇之處在于硬件，驅(qū)動程序只需將流數(shù)據(jù)包組裝成圖像幀。

我 們新的開源可視化工具。  完整驅(qū)動視頻：

https://www.youtube.com/watch?v=LcnbOCBMiQM

我們鼓勵任何對 OS1 感到好奇的人在線觀看我們未經(jīng)編輯的視頻，或下載我們的原始數(shù)據(jù)并使用可視化工具自己播放。

 

固件更新頁面：https://www.ouster.io/downloads

Github & 樣本數(shù)據(jù)：www.github.com/ouster-LIDAR

This Is Not a Gimmick

我們已經(jīng)看到多家激光雷達公司通過將單獨的攝像頭與激光雷達共同安裝、執(zhí)行劣質(zhì)的外部校準(zhǔn)并發(fā)布最終無用產(chǎn)品的新聞稿來銷售激光雷達/攝像頭融合解決方案。我們沒有這樣做，為了證明這一點，我們想分享一些示例，說明 OS1 傳感器數(shù)據(jù)的強大功能，這讓我們回到了深度學(xué)習(xí)。

 

由于傳感器輸出具有每個像素的深度、信號和環(huán)境數(shù)據(jù)的固定分辨率圖像幀，因此我們能夠?qū)⑦@些圖像直接輸入到最初為相機開發(fā)的深度學(xué)習(xí)算法中。我們在向量中編碼深度、強度和環(huán)境信息，就像彩色圖像網(wǎng)絡(luò)在輸入層編碼紅色、綠色和藍色通道一樣。我們訓(xùn)練的網(wǎng)絡(luò)非常適合新的激光雷達數(shù)據(jù)類型。

 

作為一個例子，我們訓(xùn)練了一個每像素語義分類器，以在舊金山周圍的一系列深度和強度幀上識別可行駛的道路、車輛、行人和騎自行車的人。我們能夠在 NVIDIA GTX 1060 上實時運行生成的網(wǎng)絡(luò)并取得了令人鼓舞的結(jié)果，特別是考慮到這是我們嘗試的第一個實現(xiàn)。

Full video: https://www.youtube.com/watch?v=JxR9MasA9Yc

因為所有數(shù)據(jù)都是按像素提供的，所以我們能夠?qū)?2D 掩碼無縫轉(zhuǎn)換為 3D 幀，以進行額外的實時處理，如邊界框估計和跟蹤。

 

在其他情況下，我們選擇將深度、信號和環(huán)境圖像分開，并將它們獨立地通過同一個網(wǎng)絡(luò)。 例如，我們從DeTone 等人的 SuperPoint 項目 [link] 中獲取了預(yù)訓(xùn)練的網(wǎng)絡(luò)，并直接在我們的強度和深度圖像上運行它。該網(wǎng)絡(luò)在大量通用 RB 圖像上訓(xùn)練，從未見過深度/激光雷達數(shù)據(jù)，但強度和深度圖像的結(jié)果都令人驚嘆：

 

Full video:https://www.youtube.com/watch?v=igsJxrbaejw

仔細檢查后，很明顯網(wǎng)絡(luò)在每張圖像中拾取了不同的關(guān)鍵點。 任何從事激光雷達和視覺里程計工作的人都會明白這個結(jié)果所體現(xiàn)的冗余的價值。 激光雷達里程計在隧道和高速公路等幾何均勻的環(huán)境中掙扎，而視覺里程計在無紋理和光線不足的環(huán)境中掙扎。OS1 的相機/激光雷達融合為這一長期存在的問題提供了多模式解決方案。

 

正是這樣的結(jié)果讓我們相信，融合良好的激光雷達和相機數(shù)據(jù)遠不止它們的總和，我們預(yù)計未來激光雷達和相機之間會進一步融合。

 

1. 視頻：

帶有環(huán)境數(shù)據(jù)的 Sunny Drive：

正向視圖：https://www.youtube.com/watch?v=9qYwROaCxF4

頂視圖：https://www.youtube.com/watch?v=X7TljH5x2kE

斜視：https://www.youtube.com/watch?v=LcnbOCBMiQM

像素語義分割：https://www.youtube.com/watch?v=JxR9MasA9Yc

超點：https://www.youtube.com/watch?v=igsJxrbaejw

 

2.固件更新頁面：

https://www.ouster.io/downloads

3. Github & 樣本數(shù)據(jù)：

www.github.com/ouster-LIDAR

 

原文鏈接：

https://ouster.com/zh-cn/blog/the-camera-is-in-the-lidar/