全視覺方案的案例
為何全視覺方案無法實現真正的自動駕駛
其中，不乏有類似特斯拉、小鵬這樣趨向于推進視覺感知架構設計的主機廠，也不乏有類似博世、大陸這類傳統趨向于推進雷達感知為主的供應商。也有在傳感器架構中趨向于設計全傳感冗余方案的主機廠，如蔚來、waymo、百度等不差錢的主機廠。
從量產的角度出發
，我們在設計傳感架構時更多的是追求所謂的性價比，也即用最少的傳感器設計最優的系統架構。
什么是最優？需要滿足如下三個條件：
1）確保傳感器的探測能力能夠覆蓋整個車端實體及周邊環境，盡量不會出現感知盲區；
2）確保設計最高級自動駕駛系統時，需要充分考慮系統在某些失效情況下，其傳感器能夠也能做相應的降級處理；
3）整個傳感器布置盡量不要出項重復或探測能力的過冗余，這可能導致系統的整個經費較高，無法滿足高性價比的要求。
前段時間特斯拉宣布后續將會朝著全視覺方案方向發展的策略，由于當前特斯拉的方案在某種程度上
仍舊
采用了雷達目標的探測情況。全視覺方案旨在通過視覺探測逐漸替代有雷達探測所帶來的諸如距離、速度、加速度等實體目標中的優勢。但是，筆者認為全視覺方案在如下一些極端的場景中是無法滿足對于感知探測能力的KPI指標的。主要體現在如下幾個大的方面：
1）天氣環境因素造成的視覺傳感器致盲（如逆光炫目、沙塵暴遮擋等）；
2）小目標物體在中低分辨率視覺感知系統中可能造成的目標晚識別（如減速帶、小動物、錐桶等）；
3）異形目標由于未經訓練可能造成無法匹配，最終被漏識別（道路落石、前車掉落輪胎等）；
4）視覺傳感器本身的識別要理要求對于視覺識別結果具有較高的算力需求。
從如上說明中不難看出，視覺感知能力往往無法滿足性能需求。
展開 為何全視覺方案無法實現真正的自動駕駛
其中，不乏有類似特斯拉、小鵬這樣趨向于推進視覺感知架構設計的主機廠，也不乏有類似博世、大陸這類傳統趨向于推進雷達感知為主的供應商。也有在傳感器架構中趨向于設計全傳感冗余方案的主機廠，如蔚來、waymo、百度等不差錢的主機廠。
從量產的角度出發
，我們在設計傳感架構時更多的是追求所謂的性價比，也即用最少的傳感器設計最優的系統架構。
什么是最優？需要滿足如下三個條件：
1）確保傳感器的探測能力能夠覆蓋整個車端實體及周邊環境，盡量不會出現感知盲區；
2）確保設計最高級自動駕駛系統時，需要充分考慮系統在某些失效情況下，其傳感器能夠也能做相應的降級處理；
3）整個傳感器布置盡量不要出項重復或探測能力的過冗余，這可能導致系統的整個經費較高，無法滿足高性價比的要求。
前段時間特斯拉宣布后續將會朝著全視覺方案方向發展的策略，由于當前特斯拉的方案在某種程度上
仍舊
采用了雷達目標的探測情況。全視覺方案旨在通過視覺探測逐漸替代有雷達探測所帶來的諸如距離、速度、加速度等實體目標中的優勢。但是，筆者認為全視覺方案在如下一些極端的場景中是無法滿足對于感知探測能力的KPI指標的。主要體現在如下幾個大的方面：
1）天氣環境因素造成的視覺傳感器致盲（如逆光炫目、沙塵暴遮擋等）；
2）小目標物體在中低分辨率視覺感知系統中可能造成的目標晚識別（如減速帶、小動物、錐桶等）；
3）異形目標由于未經訓練可能造成無法匹配，最終被漏識別（道路落石、前車掉落輪胎等）；
4）視覺傳感器本身的識別要理要求對于視覺識別結果具有較高的算力需求。
展開 用AI視覺芯片打造艙內艙外全開放解決方案
在深圳舉行的 AWC 2021第三屆汽車數字座艙論壇上，安霸半導體技術（上海）有限公司深圳分公司總經理劉清濤先生分享了“基于安霸AI視覺芯片的全開放艙內艙外解決方案”，介紹了安霸公司及其產品路線圖，核心競爭優勢和成熟高效的解決方案。
安霸歷史和產品路線圖
安霸公司成立于2004年，是一家專注于AI視覺芯片的半導體公司,專注于高清視頻圖像處理和人工智能計算機視覺等技術領域。2005年，安霸的第一顆廣播級專業視頻編碼芯片面世，隨即成為專業高清視頻編碼市場的領軍者。2007年安霸（上海）半導體成立，并在深圳設立分公司。安霸上海和深圳的研發中心立足中國市場，其強大的技術專家團隊不但可以迅速響應國內客戶需求，而且能夠更有力地支持客戶打造差異化的創新產品。2012年安霸憑借其卓爾不凡的技術實力，在納斯達克上市。2015年業界知名自動駕駛公司VisLab被安霸收購，成為了安霸意大利分公司。伴隨著2018年量產出貨超過3億顆高清攝像芯片，安霸在車載，安防，消費類視覺等領域碩果累累。近些年來，安霸加大對AI計算機視覺領域的研發投入，一系列高性能低功耗搭載AI引擎的SOC問世。截止2021年第一季度，累計超過200萬片CV系列AI視覺SoC隨客戶產品量產， 其中汽車市場累計出貨量超過30萬顆。
安霸芯片已經廣泛用于汽車市場的各個領域?，F有產品系列凡有CV前綴的SOC都集成了自有CVflow? 架構的AI計算機視覺（Computer Vision）硬件加速引擎。這里重點介紹的CV2x系列芯片可以廣泛應用于智能座艙駕駛員監控（DMS）和乘員監控（OMS），高級駕駛輔助系統（ADAS），泊車輔助系統（APA）以及帶盲區監測的電子后視鏡（CMS）。所有CV2x芯片采用10納米車規制程，并且全部實現量產。
展開 超全總結！視覺SLAM方案整理及硬件選型（附項目地址）
2.3 開源視覺SLAM方案匯總
目前比較流行的開源視覺SLAM方案如表2-1所示：
表2-1 開源SLAM方案匯總
視覺SLAM設備選型
3.1 設備選型的重要性
說了這么多，終于到了設備選型這一部分。設備選型的重要性不言而喻，畢竟“好模型架不住壞數據”，SLAM模型建立得再好，如果設備采集的數據本身誤差過大，計算結果必定也不夠理想。先以VINS項目為例，根據論文內容他們的設備型號和具體信息如下。
機器人視覺三維成像技術全解析
圖6 立體視覺三維成像示意圖
立體視覺可分為被動和主動兩種形式。被動視覺成像只依賴相機接收到的由目標場景產生的光輻射信息，該輻射信息通過2D圖像像素灰度值進行度量。被動視覺常用于特定條件下的3D成像場合，如室內、目標場景光輻射動態范圍不大和無遮擋；場景表面非光滑，且紋理清晰，容易通過立體匹配尋找匹配點；或者像大多數工業零部件，幾何規則明顯，控制點比較容易確定等。
主動立體視覺是利用光調制（如編碼結構光、激光調制等）照射目標場景，對目標場景表面的點進行編碼標記，然后對獲取的場景圖像進行解碼，以便可靠地求得圖像之間的匹配點，再通過三角法求解場景的3D結構。主動立體視覺的優點是抗干擾性能強、對環境要求不高（如通過帶通濾波消除環境光干擾），3D測量精度、重復性和可靠性高；缺點是對于結構復雜的場景容易產生遮擋問題。
基于結構光測量技術和3D物體識別技術開發的機器人3D視覺引導系統，可對較大測量深度范圍內散亂堆放的零件進行全自由的定位和拾取。相比傳統的2D視覺定位方式只能對固定深度零件進行識別且只能獲取零件的部分自由度的位置信息，具有更高的應用柔性和更大的檢測范圍?？蔀闄C床上下料、零件分揀、碼垛堆疊等工業問題提供有效的自動化解決方案。
展開 特斯拉純視覺機器學習解決方案
這里展示了特斯拉的全自動駕駛的視頻，看到上下高速。
這里提了一下谷歌維摩，解釋為什么人家那么早就開始了，因為有激光雷達，高清地圖。
這是維摩的自動駕駛展示，強調特斯拉是純視覺技術。
這里就是視覺的任務。
展示全自動駕駛視頻中的視覺技術。
為強調視覺的難度，特意拿stop sign detection為例子，展示各種困難。
介紹Data Engine的平臺，以前ICML也講過，同時強調特斯拉的shadow mode。
展開 基于雙目視覺的目標檢測與追蹤方案詳解
作者 | Aimme
出品 | 焉知
一直想通過計算機視覺的角度好好地把其在自動駕駛視覺檢測、追蹤及融合上的原理進行詳細闡述，對于下一代自動駕駛系統來說，會采用集中式方案進行攝像頭的原始感知信息輸入和原始雷達目標的輸入。對于純攝像頭的感知方案通常采用針孔相機模型進行相機標定，在本文中，將研究相機配準和雷達傳感器融合的整體過程。了解其對于掌握后續關于測量提取和傳感器校準的討論是必要的。
單/雙目相機標定基本原理
將相機信息與物理世界相關聯，需要描述 3D 世界坐標和圖像坐標之間數學關系的模型，計算機視覺中最簡單的此類模型是針孔相機模型（如下圖）。
圖1 相機模型模型的投影
針孔模型中的圖像形成是通過假設一個無限小的孔徑來解釋的，因此用了針孔這個術語?？紤]上圖中所有光線會聚在光學中心上，該中心與相機參考系的原點重合，光心到像面上主點c的距離等于焦距f，來自點 p = [x,y,z] T的光線穿過光學中心，從而投影到位于圖像平面上的點 p’ = [x’ ,y’ ,z’] T 。相似三角形的原理規定，點 [x,y,z] T 被映射到圖像平面上的點 p’ = [fx/z, fy/z, f] T 。忽略深度，該投影由 R3 （三維）到
R
2（二維）映射給出，即
（1）
引入齊次坐標，如上圖像點信息可以改寫為矩陣形式，其中K表示相機校準矩陣。
（2）
方程 (2) 提供了將 3D 空間中的點轉換為圖像坐標的框架。通常，圖像平面上的點 p’ 將根據像素坐標來尋找。
展開 視覺為王-小鵬以及特斯拉的自動駕駛方案
視覺方案對于環境感知的目的是360度覆蓋，同時注意側重點，例如前視顯然需要長距離。下面為小鵬和特斯拉視覺FOV圖。
特斯拉和小鵬的前視FOV基本一樣，拋開視覺距離不一樣，當然從圖上看特斯拉的前視要遠些，但向后的視覺FOV有些差異，可能為兩家的方案差異點。
小鵬的尾部攝像頭視線長，但窄，而特斯拉采用兩個側向攝像頭覆蓋后視場景，而尾部攝像頭視線短，但寬。這里可以看出特斯拉的尾部攝像頭主要是用作倒車或者泊車影像，而小鵬完全不用管，因為它有另外一套泊車環視攝像頭。
但總的來講視覺360度覆蓋就為汽車自動駕駛AI 視覺處理提供了基礎。
關于軟件
自動駕駛如果了解其軟件工具鏈主要是操作系統，中間件，應用層等組成。而自動駕駛當前大家差異化的地方就是AI 算法模型以及應用。
視覺主導，肯定是基于攝像頭的圖片處理軟件技術，當前的AI算法主要一個重要的應用就是目標物識別，行為預測。拿特斯拉來講其采用CNN用來識別目標，RNN用來不斷根據運動學狀態以及感知結果更新這個地圖和環境，帶有時域特征。這兩個詞聽起來挺高深哈，但是其實也不是什么新技術，我們手機里面都用過。
CNN 提取特征信息-例如識別人臉然后戴上各種裝飾，他第一步需要識別你的人頭在哪里，你的頭，鼻子然后確定好了位置才能進行各種裝飾，自動駕駛中同樣用來識別路面上車輛，行人，自行車，路牌等等。
RNN-具有一種自然的方式來獲取圖像（即視頻）的時間序列并產生最先進的時間預測結果，所以他可以利用上下文信息來預測未來運動例如我們常用的靜態動圖。
展開 九頭蛇的進化：Tesla AutoPilot 純視覺方案解析
來源 | Mark AI@知乎
我要說的是Tesla AI day上他們的視覺方案，其核心模板的名字也叫HydraNet，很多設計非常有啟發性，想和咱們自動駕駛從業者以及愛好者一起來學習交流下。
說一句Tesla牛逼！各個模塊的負責人都是行業大牛！！其中CV界華人大佬的Fei-Fei Li的學生Andrej Karpathy博士就是我今天要說的這個視覺模塊的主講人。
話不多說，要看懂這個方案我們首先明確一下：Tesla視覺系統的輸入和輸出↓
圖一，Tesla視覺感知系統的輸入和輸出
Tesla的視覺系統由8個攝像頭環繞車身，視野范圍達 360 度，每個攝像頭采集分辨率為1280 × 960，12-Bit, 36Hz的RAW格式圖像，對周圍環境的監測距離最遠可達 250 米。
攝像頭捕獲環境中的視覺信息經過一系列神經網絡模型的處理，最終直接輸出3D場景下的 “Vector Space”用于后面的規劃和智駕系統。
圖二，Tesla車載相機布置方式
Tesla的8攝像頭分為前視3目，負責近，中遠3種不同距離和視角的感知；側后方兩目，側前方兩目，以及后方單目，完整覆蓋360度場景。
Tesla的自動駕駛感知算法經過了多個版本迭代，最初的HydraNet是比較早期的版本，經過不斷的迭代一路進化，應用到了近期的FSD系統中。我們首先介紹一下最初的HydraNet。
展開 北理工研制機械狗全地形自適應，無需額外視覺感知，可在復雜地形中如履平地
最近，北京理工大學的研究人員設計了一種具有并行對稱腿結構的四足機械狗，并應用了一種自適應算法，使機械狗無需額外的感知或視覺支持就能快速估計全地形信息，在草地和巖石等復雜地形上如履平地。
▍四足機械狗的誕生三部曲
1、四足機械狗誕生的第一步：考慮什么樣的腿結構能讓機械狗走得穩
動態運動初步由地面反作用力（GRF）決定，可以通過腿結構和執行器來表征，研究人員對不同的腿結構進行了數值模擬，采用了能夠產生更大的地面反作用力（GRF）的對稱并聯腿結構。
機械狗的腿由強度高、重量輕的碳纖維制成，再配備高精度編碼器、六軸慣性測量單元、每只腳下的三維力傳感器，控制器、驅動器和電池都位于機器人的中心。這樣下來，機械狗整體質量約為 40 kg，腿長為 0.6 m。
2、接下來，就要用控制算法讓機械狗學會自己走路
研究人員利用了二次規劃（QP）優化的虛擬模型控制（VMC）算法，該方法可利用虛擬力“驅使”機械狗達到期望的運動狀態，這些虛擬力通過Jacobian矩陣計算得到期望的關節力矩，作為控制關節的輸入，讓機械狗達到和虛擬力相同的運動效果。
3、光會走路還不行，此刻的機械狗就像一個沒學會走路的孩子跌跌撞撞，容易摔跤
研究人員提出了一種快速估計全地形信息的方法，讓機械狗能在復雜地形下自適應調整平衡、身體狀態和擺腿運動。該方法基于廣義最小二乘法，通過融合身體、腿部和接觸信息來估計地形參數，腳步坐標是通過融合來自 IMU 的軀干方向信息和關節編碼器信息獲得的，無需額外感知或視覺支持。
展開 搭載 FPGA 平臺，極目智能推出車規級前裝視覺 ADAS 解決方案
雷鋒網新智駕獨家獲悉，智能駕駛輔助技術供應商極目智能（下稱“極目”）今日（8 月 3 日）正式對外發布旗下最新車規級視覺 ADAS 解決方案 JM600 V3.0，該系統搭載賽靈思（Xilinx）高性能 FPGA 平臺，整合極目在深度學習技術方面的最新研發成果，在性能和成本的平衡上取得了不錯的效果。
JM600 V3.0：搭載 FPGA 平臺，成本可觀
極目 JM600 V3.0 系統主要針對前裝乘用車和商用車市場，將于今年 Q3 量產，后續會向國內主要商用客車企業率先供貨。
這家已經在前、后裝視覺 ADAS 產品方面進行了布局的公司，在這款最新產品上取得了一些技術突破。
據雷鋒網(公眾號：雷鋒網)新智駕了解，主要包含三個方面：
1、性能提升，支持與毫米波雷達數據融合
極目 JM600 V3.0 系統主要提供 L1-L2 級駕駛輔助功能，能夠對多種工況和場景中的車輛、車道線、行人、騎行者、交通標識牌等元素進行精準識別，實現前車碰撞預警、車道偏離預警、行人碰撞預警、限速標牌識別功能。
在性能方面，JM600 V3.0 系統支持多種車型的識別，包括轎車、SUV、卡車、廂式卡車、斗式卡車、公交車、三輪車、平板車及特殊異型車等，測距精度與激光雷達相比誤差在 3% 以內（聯合主機廠測試得出的結果）；支持實線、虛線、雙線、道路邊緣、柵欄等多種車道元素識別，具備曲線識別能力，曲率半徑高于 150 米，車道檢測精度約 3cm；在弱勢道路參與者檢測方面，JM600 V3.0 系統支持成人、兒童等行人及騎行者檢測，支持道路參與者多姿態識別；在標識牌識別方面，JM600 V3.0 方案支持限速標牌識別，后續會升級支持限高、限寬等多種標識牌類型。
另外，該系統支持與毫米波雷達進行數據融合，可擴展 AEB 自動緊急剎車、LKA 車道保持等功能。
展開 
aiData全自動化數據處理解決方案！
本文介紹的 aiData 全自動化數據處理解決方案，正是為了幫助開發者從一開始就避免這些問題。該方案既助力用戶打造高度自動化和開放化的自動駕駛系統，又能確保數據所有權僅屬于用戶本身，憑借在實際項目中積累的豐富經驗，為研發團隊規避 costly 失誤，有效降低人力成本和計算資源消耗，加速汽車 AI 技術落地。
02 aiData核心組件
aiData由完全自有的模塊和工具組成，在行業標準規范下，構建了覆蓋數據采集、生成、使用、驗證全流程的成熟端到端工具鏈。
aiData Recorder
aiData Recorder（數據記錄器）搭載自適應智能數據采集軟件，通過精準的傳感器標定與同步技術，為自動駕駛技術生成高質量數據源。
①支持多模態傳感器陣列的離線與實時動態標定
②實現傳感器記錄的高精度時間同步
aiData Auto Annotator
aiData Auto Annotator（自動標注器）是基于人工智能的多傳感器自動標注方案，針對動態與靜態物體實現行業頂尖的標注精度，原始數據采集后數小時即可完成處理。
①同步標注激光雷達點云、相機影像等全傳感器數據，構建時空統一的4D環境模型
②靜態物體標注準確率達100%，動態物體標注精度突破92%
aiData Metrics
aiData Metrics（指標評估系統）集成多維指標評估體系，實時監測研發進展與需求匹配度，提供數據缺口深度分析。
展開 MSC氣動噪聲全流程解決方案
深圳市優飛迪科技有限公司成立于2010年，是一家專注于產品開發平臺解決方案與物聯網技術開發的國家級高新技術企業。
十多年來，優飛迪科技在數字孿生、工業軟件尤其仿真技術、物聯網技術開發等領域積累了豐富的經驗，并在這些領域擁有數十項獨立自主的知識產權。同時，優飛迪科技也與國際和國內的主要頭部工業軟件廠商建立了戰略合作關系，能夠為客戶提供完整的產品開發平臺解決方案。
優飛迪科技技術團隊實力雄厚，主要成員均來自于國內外頂尖學府、并在相關領域有豐富的工作經驗，能為客戶提供“全心U+端到端服務”。
AVEVA：打造全生命周期數字化解決方案
AVEVA公司是英國知名工業軟件供應商，為造船和海洋工程、石油和天然氣、造紙、電力、化工和制藥等工業領域提供全生命周期解決方案及服務。2017年施耐德電氣通過逆向并購控股了AVEVA公司，并將施耐德電氣旗下的工業軟件業務并入AVEVA。施耐德電氣AVEVA解決方案經理陳俊宇表示：“施耐德工業軟件和AVEVA合并旨在充分發揮各自的優勢，通過在整個工廠生命周期內，為不同的客戶提供定制化、差異化的解決方案來滿足市場需求。”
施耐德電氣AVEVA解決方案經理陳俊宇
助力工業用戶數字化轉型
業務合并后，AVEVA公司擁有4400多名員工，4000多家客戶，服務行業覆蓋石油和天然氣、造船及海洋工程、電力及公用事業、化工、采礦及礦產、鋼鐵制造、建筑、食品飲料、生命科學和基礎設施等諸多行業，提供項目生命周期與資產生命周期，包括工程設計、施工、生產管理、運行維護、工廠優化不同階段的數字化解決方案。
談及AVEVA的核心競爭力，陳俊宇認為專業專注是AVEVA的基因：“AVEVA是一家專注的公司，52年來只做一件事情，在流程行業不斷創新，例如新推出的AVEVAEverything3D，代表了工廠三維協同化數字設計的最高水平，在觸摸屏運行的三維虛擬工廠Engage產品，能夠非常流暢地集成展示超大型工廠模型和數據。AVEVA的核心競爭力是專業專注的精神，以及在這種精神指導下錘煉出來的世界一流的產品和一流的團隊。”
AVEVA在VR、AR、工業物聯網、資產性能管理等方面都做了很多技術創新，目前已經在設備維修、故障預測、仿真培訓等方面得到實際應用。同時，系統的開放性不斷提升，結合施耐德電氣在運營維護方面的經驗，可以實現在工廠的整個生命周期內，將大量的數據有機整合，包括靜態數據和動態數據。
展開 一機解決輪廓尺寸+螺紋全參數測量的高效解決方案
同時需測量螺紋的全參數來評判嚙合間隙。
根據螺桿測量需求，使用可兩軸聯動的SJ5780高精度智能螺紋輪廓掃描儀。多功能優勢博采眾長適用于各種應用場景?？蓽y幾何量，復雜工件分段測量，公差設置進行合格判定，可進行CNC批量匹配分析提高測量效率；同時還可測量螺紋，通過雙向掃描得到的輪廓信息計算螺紋的中徑、大徑、小徑、螺距、牙型半角等參數。
優勢一：雙向掃描測量同時分析輪廓尺寸和螺紋全參數，螺桿測量分析。
優勢二：自定義分段測量；雙向恒測力接觸掃描，智能爬坡、陡坡緩降，解決對螺桿復雜輪廓面的智能掃描。
優勢三：對同批次復雜工件輪廓進行一鍵匹配分析輪廓尺寸，提升螺桿的檢測效率。
中圖儀器SJ5780系列高精度智能螺紋輪廓掃描儀滿足螺桿的雙側測量需求，螺紋數據庫能直接評定螺紋全參數合格指標。儀器檢測報告直觀明了，方便對螺桿加工工藝進行調整，加強了品質管控；儀器廣泛應用于機械制造行業（如汽配、機加工等）。
展開 