視覺感知技術的案例
自動駕駛系統中視覺感知模塊的安全測試
車聯網領域隨著物聯網與交通運輸領域的深度融合蓬勃發展．隨著深度學習的進步,車聯網領域的自動駕駛技術得到了突破性的發展,并有演化成一場新的汽車工業革命的趨勢．無論是特斯拉、蔚來等新型車企,還是福特、寶馬等傳統車企都陸續拿到了自動駕駛路測牌照,著眼于研發深度自動駕駛技術．迅猛發展的深度自動駕駛技術正逐漸成為車聯網領域的主要支撐技術之一,正在改變未來的交通和出行方式．
視覺感知模塊是自動駕駛進行環境感知的重要組件,也是車輛進行智能決策的重要基礎．自動駕駛領域的重要企業特斯拉更是將視覺感知模塊作為其駕駛系統的唯一環境感知模塊．因此,自動駕駛系統視覺感知模塊的安全性是自動駕駛系統正常工作的關鍵．雖然視覺感知模塊的表現隨著深度視覺技術的發展穩步提升,但是其從駕駛環境中感知到的特征語義難被理解、決策過程無法解釋．如何對自動駕駛系統視覺感知模塊的安全性進行充分測試,已經成為了一個迫在眉睫、亟待解決的問題．
誠然,圍繞深度學習可解釋性方面的工作有了一定的突破,但是距離分析清楚自動駕駛視覺感知模塊的錯誤傳導機理還有較遠的距離．近年來,神經網絡的黑盒攻擊方法的進步,啟發大家提出了一些基于場景搜索的自動駕駛視覺感知模塊安全性測試技術．這些場景驅動的測試方法利用黑盒測試的思路,為駕駛系統提供盡可能多的駕駛場景數據,觀察自動駕駛系統的輸出與測試預言(TestOracle)之間的差異,進而分析自動駕駛系統視覺感知模塊的安全性．
展開 視覺傳感器：2D感知算法
來源 | 巫婆塔里的工程師@知乎
1 前言
自動駕駛中的視覺感知模塊通過圖像或視頻數據來了解車輛周圍環境，具體的任務包括物體檢測和跟蹤(2D或3D物體)，語義分割(2D或3D場景)，深度估計，光流估計等。
這篇文章里我們先介紹一下基于圖像或視頻的2D物體檢測和跟蹤，以及2D場景的語義分割。這幾個任務在自動駕駛中應用的非常廣泛，各種綜述文章也已經非常多了，所以這里我只選擇介紹一些經典的算法，以脈絡和方向的梳理為主。
深度學習自從2012年在圖像分類任務上取得突破以來，就迅速的占領了圖像感知的各個領域，所以下面的介紹也以基于深度學習的算法為主。
2 物體檢測
2.1 兩階段檢測
傳統的圖像物體檢測算法大多是滑動窗口，特征提取和分類器的組合，比如Haar特征+AdaBoost分類器，HOG特征+SVM分類器。這類方法的一個主要問題在于針對不同的物體檢測任務，需要手工設計不同的特征。因此，在深度學習興起之前，特征設計是物體檢測領域的主要增長點。
R-CNN[1]作為深度學習在物體檢測領域的開創性工作，其思路還是有著很多傳統方法的影子。首先，選擇性搜索(Selective Search)代替了滑動窗口，以減少窗口的數量。其次，也是最重要的一點改變，采用卷積神經網絡（CNN）提取每個窗口的圖像特征，以代替手工特征設計。這里的CNN在ImageNet上進行預訓練，對于通用圖像特征的提取非常有效。最后，每個窗口的特征采用SVM進行分類，以完成物體檢測的任務。
展開 Speos Texture可視化紋理提升視覺感知
結論
Ansys Speos同樣支持多層texture的使用，對每一層的texture應用UV映射關系，將BRDF與帶有alpha透明度的texture聯合使用，用以實現更高級復雜的可視化紋理，得益于2023R1版本功能的提升，preview紋理可以預先查看紋理與匹配幾何對象貼合程度，調整UV匹配紋理，提升視覺感知質量，使Speos光學仿真設計創造更多可能性。
相關閱讀
Speos block recording塊記錄工具 | 簡化仿真設計
Speos 實現車內氛圍燈早期仿真驗證
Speos HDR 10，點亮車燈仿真
基于Ansys OpticStudio與Speos完成3片式LCD投影儀的設計與仿真
2023R1 | Speos 動態仿真助力車燈早期優化
Ansys Zemax 與 Speos 關于汽車投影燈解決方案
聯合方案 | Zemax + Speos 助力HUD抬頭顯示器設計
Lumerical Zemax Speos 聯合案例 | CMOS 傳感器相機：3D 場景中的圖像質量分析
展開 自動駕駛的視覺感知包括哪些內容？
來源 |
CV研習社、計算機視覺life
知圈
|
進“域控制器群”請加微13636581676,備注
域
本文針對自動駕駛行業的視覺感知做簡要介紹，從傳感器端的對比，到數據的采集標注，進而對感知算法進行分析，給出各個模塊的難點和解決方案，最后介紹感知模塊的主流框架設計。
目錄
傳感器組件
相機標定
數據標注
功能劃分
共性問題
模塊架構
視覺感知系統主要以攝像頭作為傳感器輸入，經過一系列的計算和處理，對自車周圍的環境信息做精確感知。目的在于為融合模塊提供準確豐富的信息，包括被檢測物體的類別、距離信息、速度信息、朝向信息，同時也能夠給出抽象層面的語義信息。所以道路交通的感知功能主要包括以下三個方面：
動態目標檢測（車輛、行人和非機動車）
靜態物體識別（交通標志和紅綠燈）
可行駛區域的分割（道路區域和車道線）
這三類任務如果通過一個深度神經網絡的前向傳播完成，不僅可以提高系統的檢測速度，減少計算參數，而且可以通過增加主干網絡的層數的方式提高檢測和分割精度。
展開 
自動駕駛多目視覺感知
NODAR的公司推出的Hammerhead技術，可以實現兩個攝像頭超大距離的寬基線配置，探測距離最遠可達1000米，同時可以生成高密度的點云。這個系統可以利用整車的寬度，比如把攝像頭安裝在側視鏡、前大燈或車頂兩側。
Hammerhead技術中的寬基線配置
4 Tesla的全景感知系統
分析了三目和四目的例子后，下面進入本篇文章的重點，
也就是基于多目的全景感知系統。
這里我們采用的例子是Tesla在2021年的AI Day上展示了一個純視覺的FSD（Full Self Driving）系統。雖然說只能算是L2級別（駕駛員必須做好隨時接管車輛的準備），但如果只是橫向對比L2級的自動駕駛系統，FSD的表現還是不錯的。此外，這個純視覺的方案集成了近年來深度學習領域的很多成功經驗，在多攝像頭融合方面很有特點，個人覺得至少在技術方面還是值得研究一下。
Tesla FSD系統的多攝像頭配置
這里再稍微跑個題，說一下Tesla AI和Vision方向的負責人，Andrej Karpathy。這位小哥1986年出生，2015年在斯坦福大學獲得博士學位，師從計算機視覺和機器學習界的大牛李飛飛教授，研究方向是自然語言處理和計算機視覺的交叉任務以及深度神經網絡在其中的應用。馬斯克2016年將這位青年才俊召入麾下，之后讓其負責Tesla的AI部門，是FSD這個純視覺系統在算法方面的總設計師。
Andrej在AI Day上的報告中首先提到，五年前Tesla的視覺系統是先獲得單張圖像上的檢測結果，然后將其映射到向量空間（Vector Space）。
展開 自動駕駛汽車感知系統關鍵技術綜述
2 感知系統
感知系統目的包括：①安全性：實時、準確識別周邊影響交通安全的物體，應對突發事件，為采取必要操作以避免發生交通安全事故；②通過性：基于自身行駛性能、周邊路況和共識規則，能夠實時、可靠、準確識別并規劃出可保證規范、安全、迅速到達目的地的行駛路徑；③經濟舒適性：為車輛高效、經濟、平順行駛提供參考依據。目前，感知系統主要是利用傳感器、定位導航 、車聯通信（VehicIe-to-X，V2X）3種技術組合實現上述目的。
2.1 傳感器
傳感器感知的對象包括行駛路徑、周圍障礙物和行駛環境等。感知行駛路徑是對可通行性道路的識別，在城市中包括信號燈、各種標志牌、車道線、路障等目標的識別；在野外包括車輛前方路面平坦情況、可通行道路分析等。感知周圍障礙物是識別影響自動駕駛車輛行駛的靜止或者移動的各種障礙物，包括路面上的車輛、行人、路障等。感知行駛環境是判別對自動駕駛車輛行駛影響比較大的變化環境，例如路面、交通與天氣等。
主流的傳感器感知技術包括視覺感知、激光感知、微波感知等。視覺感知是基于攝像頭采集的圖像信息，使用視覺相關算法進行處理，認知周圍環境；激光感知是基于激光雷達采集的點云數據，通過濾波、聚類等技術，對環境進行感知；微波感知是基于微波雷達采集的距離信息，使用距離相關算法進行處理，認知周圍環境。3種環境感知方法的比較如表2所示。根據各類傳感器技術特點，不同應用場景和系統功能需求下，應選不同的傳感器技術。例如，在高速公路環境下，由于車輛速度較快，通常選用檢測距離較大的微波感知；在城市環境中，由于環境復雜，通常選擇檢測角度較大、信息量豐富的激光、視覺感知技術。
現在廣泛應用的各類高級駕駛員輔助系統ADAS使用各類傳感器，實現了相應的輔助駕駛功能，為實現完全自動駕駛奠定了基礎，如圖2所示。
展開 感知（視覺）→決策（具身智能）→執行（自動化）
展會名稱：2026深圳（國際）具身智能創新展覽會
同期聯動展會：第 29 屆華南國際工業自動化展、華南國際機器視覺及工業應用展、華南國際工業博覽會
時間：2026 年 6 月 10-12 日
地點：深圳國際會展中心（寶安新館）12 號館（銜接自動化 / 機器視覺展區）
一、核心參展價值
1、政策 + 產業雙重紅利
緊扣《深圳市具身智能行動計劃》窗口期，2027 年產業規模將破千億。展會匯聚 90%+ 核心部件國產化供應鏈，可快速實現技術落地，坐享粵港澳大灣區 “機器人谷” 核心紅利。
2、同期多展聯動
與工業自動化展、機器視覺展同期舉辦，形成 “
感知（視覺）→決策（具身智能）→執行（自動化）” 的完整鏈路。共享 10 萬 + 精準觀眾，聯合展示、跨界論壇、技術對接會降低獲客成本，直達上下游合作伙伴。
3、政企研頂流齊聚
特邀政府主管部門、高校 / 科研院所帶頭人、產業鏈龍頭企業決策者，圍繞 “感知 / 決策 / 控制 / 交互” 核心技術、商業化路徑、政策支持等熱點展開深度對話，一鍵嵌入產業生態。
展開 光學 | 仿真推動以人類視覺感知為本的汽車顯示設計
同樣，在圍繞人類視覺進行設計時，顯示器其實無需具備盡可能高的亮度或能量輸出。光學工程師可能會追求上述特性，但是這種期望往往會讓設計的目的被忽略掉。優化車輛顯示以終端用戶為中心，因此應該重點關注他們感知周圍世界的方式。
談到功能，在很多設計方面都存在改進的空間：
字體大小：顯示器設計可以減小像素大小適應低分辨率，最終以精細的圖像顯示在屏幕上。
對比度：可讀性會被文本和背景之間的感知對比影響。在低對比度條件下，文字更難以看清，尤其是在駕駛員應該把注意力放在道路上的導航場景中時。
材質：當顯示器被灰塵或油性指紋覆蓋時，在極端情況的日照位置下更難讀取信息（圖1）。攝像頭上的灰塵或擋風玻璃上的雨滴也會產生類似的問題。
人機交互：顯示器的物理位置和方向會影響駕駛員和乘員對屏幕的感知。優化設計能提高人機交互的總體質量。
視野：與抬頭顯示器（HUD）更緊密相關的是，工程師們正在開發支持更廣闊視野的光學技術，并在真實世界條件的基礎上疊加投影信息。這些技術預計將適用于小空間，以避免破壞儀表板的美感或占用儀表板下的寶貴空間。
實際應用中的人類感知設計
在早期，工程師們通過測試光如何與LED晶體或OLED層等不同幾何結構的相互作用來設計納米級的顯示器。隨著設計從光子組件模型擴展到光學組件模型，設計的焦點也轉移到了偏振層和表面涂層等元素。由于大多數汽車制造商都依賴外部供應商的顯示技術，因此設計的最后階段的重點，是將顯示器集成到車輛中。
日照研究確定了極端情況的日照位置，并分析了來自其它光源的反射。在某些情況下，后處理算法允許用戶看到比如眩光投射在屏幕上的效果。
展開 光學仿真 | 仿真推動以人類視覺感知為本的汽車顯示設計
同樣，在圍繞人類視覺進行設計時，顯示器其實無需具備盡可能高的亮度或能量輸出。光學工程師可能會追求上述特性，但是這種期望往往會讓設計的目的被忽略掉。優化車輛顯示以終端用戶為中心，因此應該重點關注他們感知周圍世界的方式。
談到功能，在很多設計方面都存在改進的空間：
·字體大小：顯示器設計可以減小像素大小適應低分辨率，最終以精細的圖像顯示在屏幕上。
·對比度：可讀性會被文本和背景之間的感知對比影響。在低對比度條件下，文字更難以看清，尤其是在駕駛員應該把注意力放在道路上的導航場景中時。
·材質：當顯示器被灰塵或油性指紋覆蓋時，在極端情況的日照位置下更難讀取信息。攝像頭上的灰塵或擋風玻璃上的雨滴也會產生類似的問題。
·人機交互：顯示器的物理位置和方向會影響駕駛員和乘員對屏幕的感知。優化設計能提高人機交互的總體質量。
·視野：與抬頭顯示器（HUD）更緊密相關的是，工程師們正在開發支持更廣闊視野的光學技術，并在真實世界條件的基礎上疊加投影信息。這些技術預計將適用于小空間，以避免破壞儀表板的美感或占用儀表板下的寶貴空間。
實際應用中的人類感知設計
在早期，工程師們通過測試光如何與LED晶體或OLED層等不同幾何結構的相互作用來設計納米級的顯示器。隨著設計從光子組件模型擴展到光學組件模型，設計的焦點也轉移到了偏振層和表面涂層等元素。由于大多數汽車制造商都依賴外部供應商的顯示技術，因此設計的最后階段的重點，是將顯示器集成到車輛中。
日照研究確定了極端情況的日照位置，并分析了來自其它光源的反射。在某些情況下，后處理算法允許用戶看到比如眩光投射在屏幕上的效果。Ansys算法考慮了人眼生物學特性，可模擬出適應時間甚至是色盲的情況。比如，當駕駛員置身于黑暗環境中5分鐘后，他們的眼睛突然看向顯示器時，其感受與在處于明亮光線環境下5分鐘后的感覺截然不同。
展開 Ansys Speos 2023 R1新功能 | Texture可視化紋理提升視覺感知
結論
Ansys Speos同樣支持多層texture的使用，對每一層的texture應用UV映射關系，將BRDF與帶有alpha透明度的texture聯合使用，用以實現更高級復雜的可視化紋理，得益于2023R1版本功能的提升，preview紋理可以預先查看紋理與匹配幾何對象貼合程度，調整UV匹配紋理，提升視覺感知質量，使Speos光學仿真設計創造更多可能性。
工業機器人發展現狀：硬件大同小異 視覺感知繪新藍圖
未來融入視覺感知、與AR概念后，行業趨勢的發展即可實現遠程下單，無人工廠接到訂單之后可以及時私人訂制出客戶想要的產品。隨著AI技術的產業發展，國內的工業制造力量也會越來越強大，值得期待！
北理工研制機械狗全地形自適應，無需額外視覺感知，可在復雜地形中如履平地
最近，北京理工大學的研究人員設計了一種具有并行對稱腿結構的四足機械狗，并應用了一種自適應算法，使機械狗無需額外的感知或視覺支持就能快速估計全地形信息，在草地和巖石等復雜地形上如履平地。
▍四足機械狗的誕生三部曲
1、四足機械狗誕生的第一步：考慮什么樣的腿結構能讓機械狗走得穩
動態運動初步由地面反作用力（GRF）決定，可以通過腿結構和執行器來表征，研究人員對不同的腿結構進行了數值模擬，采用了能夠產生更大的地面反作用力（GRF）的對稱并聯腿結構。
機械狗的腿由強度高、重量輕的碳纖維制成，再配備高精度編碼器、六軸慣性測量單元、每只腳下的三維力傳感器，控制器、驅動器和電池都位于機器人的中心。這樣下來，機械狗整體質量約為 40 kg，腿長為 0.6 m。
2、接下來，就要用控制算法讓機械狗學會自己走路
研究人員利用了二次規劃（QP）優化的虛擬模型控制（VMC）算法，該方法可利用虛擬力“驅使”機械狗達到期望的運動狀態，這些虛擬力通過Jacobian矩陣計算得到期望的關節力矩，作為控制關節的輸入，讓機械狗達到和虛擬力相同的運動效果。
3、光會走路還不行，此刻的機械狗就像一個沒學會走路的孩子跌跌撞撞，容易摔跤
研究人員提出了一種快速估計全地形信息的方法，讓機械狗能在復雜地形下自適應調整平衡、身體狀態和擺腿運動。該方法基于廣義最小二乘法，通過融合身體、腿部和接觸信息來估計地形參數，腳步坐標是通過融合來自 IMU 的軀干方向信息和關節編碼器信息獲得的，無需額外感知或視覺支持。
展開 利用人體對周圍電磁波的增強感應，直接可視覺觸覺感知和超靈敏觸覺傳感器
【引言】
使用電子系統模擬人類感知是人工智能和人機交互的關鍵組成部分。在所有人類感官中，大量的努力都集中在實現觸覺感知上，與其他感官相比，這是一項更具挑戰性的任務。高性能觸覺傳感器可應用于多種技術，如安全監控、工業自動化、智能機器人、電子皮膚等。隨著各種功能材料的出現，許多具有高拉伸性、自愈合或自供電能力等新特性材料也被應用于觸覺傳感器。除了材料創新，許多不同的物理機制也被用作觸覺傳感器的傳導原理，包括壓阻、可變電容，甚至接觸帶電效應。不同物理機制的引入可以進一步刺激高性能觸覺傳感器的發展。觸覺傳感技術在工業領域的關鍵目標是實現高分辨率和高靈敏度，同時簡化系統的復雜性。因此，不斷實驗不同的傳導機制來實現觸覺感知是觸覺傳感器發展的一項必要任務，這可以促進智能手機、人機交互等領域的應用。
在過去的幾年中，基于麥克斯韋位移電流和靜電場的傳感技術作為一個新興的研究方向受到了極大的關注。基于摩擦電納米發電機(TENG)的感應型傳感器是利用麥克斯韋位移電流的最具代表性的技術之一。這些基于TENG的傳感器可以產生大的電壓輸出，以提高檢測靈敏度，同時降低能耗。然而，由于電荷泄漏和交叉互感， TENG靜電數據的采集系統的復雜性會顯著增加。因此，研究人員非常希望開發一種改進的方法，能夠繼承這些TENG基傳感器的優點并避免其缺陷。
展開 空間視覺技術接替算法視覺推動實現完全自動駕駛
基于現有成像設備，機器視覺之算法視覺實現完全自動駕駛，是一件不可能的事，邏輯：空間景物投影在圖像傳感器上生成平面顏色點陣，是失真不可靠的數據，算法再完美，數據不可靠，結果自然不可靠。空間視覺技術重塑了成像設備結構和控制方法，使其獲得完整 一 一對標的數據鏈，生成3維坐標顏色點陣，連續坐標點陣即景物輪廓，空間視覺技術重新定義的相機，使其完成從生成相片到生成場景的進化，場景實現數字孿生到平行空間飛越，實現方法從計算模擬變成實時映射。
光刻技術第16期 | 壓縮感知光源優化的優化技術
壓縮感知技術憑借“稀疏性約束降維”的核心邏輯，為光源優化提供了突破口——通過將光源在稀疏基（如2D-DCT）下表示為少量非零系數，大幅削減優化變量維度。但壓縮感知光源優化的落地效果，關鍵取決于“優化技術”的工程化實現：算法迭代步驟的合理性決定了優化收斂速度與全局最優性，需明確初始值求解、變量更新、收斂判定的完整邏輯；算法實施細節的精準度（如稀疏基適配選擇、測量矩陣構建、噪聲抑制策略）則直接影響優化結果的穩定性與可制造性，是技術從理論走向工程的核心橋梁。
本文聚焦壓縮感知光源優化的優化技術核心，系統拆解算法迭代的完整流程，深入剖析關鍵實施細節，厘清技術落地的核心環節，為壓縮感知光源優化在先進光刻工程中的高效應用提供可復用的技術框架與實施參考。
02/算法迭代步驟
通過解決l1范數優化問題，可以獲得最佳光源圖形。該問題可以使用在CS領域開發的多種算法來解決。在優化前計算Iscc矩陣，可以減少運行時間。
通過線性Bregman算法迭代更新光源的2D-DCT系數θ，該算法計算效率高、圖像對比度高，流程如下：
迭代過程中，門運算承擔著參數精準篩選的關鍵角色：
? 若參數的絕對值小于設定閾值，會直接調整為0；
? 若參數絕對值不小于該閾值，則結合參數自身的符號（正/負）與閾值運算，實現參數的定向調控。
其中的符號判斷由符號函數完成：參數非負時符號為1，參數為負時符號為-1——通過這一機制，最終得到的光源核心參數（2D-DCT系數）將更精準匹配光刻需求。
展開 