來源 |  AI修煉之路

在自動駕駛汽車中，傳感器融合是融合來自多個傳感器數據的過程。該步驟在機器人技術中是強制性的，因為它提供了更高的可靠性、冗余性以及最終的安全性。

為了更好地理解，讓我們考慮一個簡單的例子，如激光雷達和相機都在看著行人： 

• 如果兩個傳感器中的一個沒有檢測到行人，我們將使用另一個傳感器作為冗余來增加檢測到行人的機會。
• 如果兩個傳感器都檢測到了行人，傳感器融合技術將使我們更準確地知道行人的位置……通過處理兩個傳感器的噪聲值。

由于傳感器是有噪聲的，因此需要傳感器融合算法來處理這些噪聲，并盡可能進行最精確的估計。

在融合傳感器時，我們實際上是在融合傳感器數據，或者叫做數據融合。有9種方法可以構建數據融合算法。這9種方法又可以分為3大類。

本文將重點介紹傳感器融合的3種分類和9種算法。

按抽象級別進行傳感器融合

最常見的融合類型是抽象級別的。在這種情況下，問題是“應該什么時候進行融合？”

文章激光雷達和攝像頭的融合中描述了早期（EARLY）和后期（LATE）融合兩種過程。

在業界，還有其他稱呼：低級（Low Level）、中級（Mid-Level）和高級（High-Level）傳感器融合。

低級別融合：融合原始數據

低級別傳感器融合是關于融合來自多個傳感器的原始數據。例如，融合來自激光雷達的點云數據和來自攝像頭的像素級數據。

? 這種類型的融合在未來幾年具有很大的潛力，因為其考慮了所有數據。

? 早期融合（Low-Level）幾年前還很難做到的，因為所需的處理量很大。每毫秒可以將數十萬個點與數十萬個像素融合在一起。

下面是一個攝像頭和激光雷達低級別融合的示例。

在此過程中使用了對象檢測，但真正完成這項工作的是將3D點云投影到圖像中，然后將其與像素關聯起來。

中級別融合：融合檢測數據

中級傳感器融合是將傳感器獨立檢測到的物體進行融合。

如果攝像頭檢測到障礙物，雷達也檢測到它，我們把這些結果融合到一起形成對障礙物的位置、類別和速度的最佳估計。 通常使用的方法是卡爾曼濾波器（貝葉斯算法）。

? 這個過程很容易理解，并且包含了幾個現有的實現。

? 它嚴重依賴于檢測器。如果一個失敗，整個融合都可能失敗。卡爾曼濾波器來解決這個問題！

中級傳感器融合示例：

在此示例中，我們將來自激光雷達的3D邊界框與來自對象檢測算法的2D邊界框融合在一起。該過程有效；但也可以逆轉。可以將3D激光雷達的結果映射到2D中，并在2D影像中進行數據融合。

高級別融合：融合軌跡

最后，高級傳感器融合是關于融合對象及其軌跡。我們不僅依賴于檢測，還依賴于預測和跟蹤。

? 此過程高一級，其優點是簡單。

? 一個主要問題是可能會丟失太多信息。如果追蹤是錯誤的，那么整件事都是錯誤的。

雷達和攝像頭之間按抽象級別的數據融合圖：

中心化級別的傳感器融合

融合算法的第二類方法是按中心化級別來區分的。該場景下的問題是“融合在哪里發生？”。主計算機可以做，或者每個傳感器可以做自己的檢測和融合。一些方法是通過使用稱為衛星架構的技術來做融合的。

我們來了解一下3種類型的融合：

• 中心化：
  一個中央單元處理融合（低級別）。
• 去中心化：
  每個傳感器融合數據并將其轉發到下一個。
• 分布式：
  每個傳感器在本地處理數據并將其發送到下一個單元（后期融合）。

我們以一輛經典的自動駕駛汽車為例。在這種情況下，每個傳感器都有自己的計算機。所有這些計算機都連接到一個中央計算單元。

與此相反，Aptiv開發了一種衛星架構的架構。這個想法是：所有傳感器都連接到一個中央單元上，該單元處理稱為主動安全域控制器的智能。

在這個過程中，利用傳感器的位置和傳遞的信息類型，可以幫助減輕車輛的總重量，并隨著傳感器的數量可以更好地擴展。

左圖的情況如下：

1. 傳感器只是“衛星”：
   它們只是用來收集原始數據的。
2. 主計算機中進行360°的融合：
   不必安裝非常好的傳感器，因為不會進行單個檢測。
3. 檢測是在360°的全景圖上完成的。

? 這有幾個優點，請閱讀。

這是“中心化融合”的兩個例子。當我們使用經典架構時，可能會遇到另外兩種類型的融合。

雷達和攝像頭之間按抽象級別的數據融合圖：

按競爭級別的傳感器融合

對傳感器融合算法進行分類的最后一種方法是按競爭級別。

• 在抽象級別，問題是“什么時候”融合應該發生。
• 在中心化級別，它是關于“在哪里”的。
• 在競爭級別，問題是“融合應該做什么？
  ”

同樣，有3種可能。

競爭融合

競爭融合是指傳感器用于相同目的。例如，當同時使用雷達和激光雷達來檢測行人時。這里發生的數據融合過程稱為冗余，使用術語“競爭”。

互補融合

互補融合是指使用不同的傳感器觀察不同的場景來獲取我們使用其他方式無法獲得的東西。例如，使用多個攝像頭構建全景圖時。由于這些傳感器相互補充，使用術語“互補”。

協同融合

最后，協同融合是關于使用兩個或更多傳感器來產生一個新場景，但是關于同一個對象的。例如，在使用2D傳感器進行3D掃描或3D重建時。

希望這篇文章可以幫助您更好地了解如何使用傳感器融合，以及如何區分不同的融合算法。

融合通常由貝葉斯算法完成，例如卡爾曼濾波器。我們可以融合數據來估計物體的速度、位置或類別。

譯自：Learn Self-Driving Cars, Computer Vision, and cutting-edge Artificial Intelligence