特斯拉的最終形態：一家人工智能科技公司

駕駛哥

2021年8月23日 09:26

2021 年 8 月 20 日，特斯拉 AI 日終于在預熱了一個月以后正式開始了。

這次特斯拉依然沒有讓人失望，「一大堆」高科技技術展示了出來，包括，神經網絡算法技術、超級計算機 Project Dojo、D1 芯片，真人形態的特斯拉機器人原型。

看了整場發布會，可以得出一個對特斯拉全新的認識，特斯拉雖然以汽車企業的形態存于市場，但 Ta 本質上是一家人工智能公司，而且特斯拉以數據、神經網絡算法、超算平臺構建了一條又寬又深的護城河。

下面展開聊聊。

特斯拉的最終形態：一家人工智能科技公司的圖2

純視覺方案以及 HydraNets

在 AI Day 之前的預熱中 Dojo 出現的頻次比較高，但在發布會正式開始后首先開講的并不是期待已久的 Dojo 而是先介紹了純視覺的自動駕駛方案以及背后的神經網絡算法。

為了便于理解發布會中所講的內容，我們必須先介紹一個背景：就是特斯拉自動駕駛方案的選擇。

我們都知道的是 Autopilot 系統是特斯拉自研的自動駕駛系統，這套系統最大的特點是采用視覺感知方案，從 Autopilot 1.0 到現在的 FSD Bate V9.0 版本這套系統的變化則是，特斯拉取消了系統中的雷達，將用攝像頭視覺和深度神經網絡來支撐整個系統的運行，V9 版本 FSD 已經切換到了純視覺。

而取消雷達讓市場對與特斯拉自動駕駛的能力以及安全性提出來質疑，大部分人認為攝像頭有天然的不足，感知融合方案則是傳感器之間的相互補充，從而達到對環境感知能力的最優化。

而今天特斯拉就介紹了，Ta 如何利用純視覺感知和深度神經網絡來實現高級別自動駕駛。

首先開講的是特斯拉 AI 總監 Andrej Karpathy 博士，他介紹，特斯拉純視覺自動駕駛系統通過 8 個1280×960 12-Bit HDR 36Hz 攝像頭的數據輸入進單個神經網絡中，整合成 3D 環境的感知，這被稱為 Vector Space。

特斯拉純視覺方案，基本構建原則是把自動駕駛系統看作一個生物，有眼睛、有神經、有大腦。他們從頭設計了神經網絡，按照生物視覺方法去建模，并利用多頭路線，其中包括相機校準、緩存、隊列和優化以簡化所有任務。

簡單理解就是，特斯拉在設計汽車中的視覺時，是按照人眼感知生物視覺的方式進行建模，那么全車 8 個攝像頭的數據會輸入到一個矢量空間內，經過神經網絡計算時，自動駕駛電腦會不斷縮小分辨率，同時提升通道數量，通過不同的數據輸入創建不同的執行結果用于不同的功能和目的。

Karpathy 還展示了過去特斯拉識別單張圖片算法的視頻。在過去曾分享過的FSD的視頻中可以看出，雖然每個攝像頭的檢測很好，但事實證明矢量空間是不夠的。

而特斯拉現在的純視覺算法「HydraNets」基于不同攝像頭的視覺內容進行識別，到這里其實才到整個純視覺的精髓，HydraNets（神經網絡算法）是這套系統的核心，按照 Karpathy 博士所說 Ta 有幾個特性，一，能夠獨立調節微任務；二，高效預測；三，做特征標注。

目前，純視覺與采用感知融合的明顯出現了區別，特斯拉在純視覺上越走越遠，但采用純視覺就要解決有的問題，比如，多傳感器融合算法的精密與優先權；還有就是攝像頭能否展示真實的物理空間。

也就是說，去掉雷達后就要要求特斯拉用攝像頭實現距離、速度、高度以及加速度等信息，用單純的攝像頭實現這些顯然有困難，那么特斯拉的做法是利用深度神經網絡來增加象限。

這就要提到 RNN（Recurrent Neural Network循環神經網絡），什么是 RNN?

RNN是一種特殊的神經網絡結構, 它是根據「人的認知是基于過往的經驗和記憶」這一觀點提出的，RNN 之所以稱為循環神經網路，因為它是基于一個序列當前的輸出與前面的輸出也有關來處理信息。

通過記憶來處理任意時序的輸入序列，來預測接下來即將發生的事情。這里面提到一個關鍵詞「預測」。

簡單理解就是，給到系統當前汽車周圍的行人、車輛和其他障礙物的移動路徑，RNN 就可以預測接下來的移動軌跡，包括位置、速度和加速度。

特斯拉采用 Transformer 算法用于預測距離。實際測試發現，在一段兩側都停放車輛的城市道路上，多攝像頭感知的準確性和穩定性都要強大很多。

紅綠燈左轉是對于自動駕駛的巨大挑戰，當車輛在道路上行駛并通過交叉路口時，神經網絡會通過 RNN 進行預測。并在虛擬環境中進行多次模擬，以進一步改善路徑規劃和理解。

這套算法的特點是，特斯拉可以用海量的數據進行快速迭代，而對于數據最重要的處理就是標注，特斯拉表示，他們的數據并沒有外包給第三方標注，而是自己建立了一個 1000 人左右的團隊。

特斯拉的最終形態：一家人工智能科技公司的圖8

但特斯拉一開始是基于 2D 圖像數據標注，但現在特斯拉轉向了 4D 圖像后可以在向量空間中進行標注。不過，對于高階的自動駕駛能力，光靠手動標注并不能滿足需求，因此，特斯拉開發了自動標注工具。

特斯拉自動駕駛軟件負責人 Ashok Elluswamy 展示了道路和道路上的其他物品是如何從一輛正在行駛的汽車中「重建」出來的。這有效地讓特斯拉能夠更快地標記數據，同時允許車輛即使在存在遮擋的情況下也能安全準確地導航。

特斯拉的最終形態：一家人工智能科技公司的圖9

除了以上，特斯拉還有一個仿真模擬系統。

特斯拉利用一個新的仿真程序，來測試邊緣情況和其他可能遇到的問題特斯拉表示，就像是 Autopilot 扮演玩家的視頻游戲。

特斯拉的模擬（simulation）大有裨益。目前已經幫助特斯拉確定了行人、自行車和車輛檢測和運動學。

特斯拉的最終形態：一家人工智能科技公司的圖10

車輛中的網絡已經能夠得出 3.71 億個模擬圖像和 4.8 億個立方體。

特斯拉的自動駕駛場景模擬系統能夠根據現實視頻自動對場景進行標注，重建場景，最后得出合成場景，該系統包括五個部分：

準確傳感器模擬；
逼真渲染；
各種路上的事物和定位；
可擴展的場景生成；
情景重構。

總體來說，特斯拉在軟件上實現了技術棧的閉環，強大的數據能力可以用于算法的迭代，而算法可以讓純視覺方案達到它的最優能力，從目前北美推動的 FSD Bate 系統的表現能力來看這套技術依然還在持續進化中。

特斯拉的最終形態：一家人工智能科技公司的圖11

Dojo

在「AI Day」發布會的邀請函上，放著一張夸張的芯片圖。該芯片才用了非常規的封裝形式，有多層結構組成具體有：

第一層和第五層銅質結構是水冷散熱模塊；
紅色圈出的第二層結構由 5*5 陣列共 25 個芯片組成；
第三層為 25 個陣列核心的 BGA 封裝基板；
第四層和第七層應該只是物理承載結構附帶一些導熱屬性；
藍色圈出的第六層應該是功率模塊，以及上面豎著的黑色長條，很可能是穿過散熱與芯片進行高速通信的互聯模塊。

從第二層結構的圓形邊角，以及擁有 25 個芯片結構來看，非常像 Cerebras 公司的 WSE 超大處理器，即才特斯拉可能采用了 TSMC（臺積電）的 InFO-SoW（集成扇出系統）設計。

所謂 InFo-SoW 設計，簡單理解來說就是原本一個晶圓（Wafer）能夠「切割」出很多個芯片，做成很多個 CPU/GPU 等類型的芯片（根據設計不同，光刻時決定芯片類型），而 InFo-SoW 則是所有的芯片都來自于同一個晶圓，不但不進行切割，反而是直接講整個晶圓做成一個超大芯片，實現 system on wafer 的設計。

這么做的好處有三個：極低的通訊延遲和超大的通訊帶寬、能效的提升。