
發(fā)布
注冊(cè)
/
登錄視覺(jué)自動(dòng)駕駛
關(guān)注創(chuàng)建者:匿名 創(chuàng)建時(shí)間:2021-11-30
視覺(jué)自動(dòng)駕駛的視頻教程
自動(dòng)駕駛汽車(chē)計(jì)算機(jī)視覺(jué)與深度學(xué)習(xí)算法的硬件實(shí)現(xiàn)
自動(dòng)駕駛汽車(chē)計(jì)算機(jī)視覺(jué)與深度學(xué)習(xí)算法的硬件實(shí)現(xiàn)
免費(fèi) 41分鐘 145播放
查看
CVPR2020自動(dòng)駕駛拓展會(huì)議——端到端深度學(xué)習(xí)的自動(dòng)駕駛
CVPR2020自動(dòng)駕駛拓展會(huì)議——端到端深度學(xué)習(xí)的自動(dòng)駕駛
免費(fèi) 30分鐘 106播放
查看
馬斯克:我研究自動(dòng)駕駛5-6年來(lái)的insight,最難和最重要的問(wèn)題是建立向量空間
馬斯克接受AI研究員Lex Fridman的訪談,聊了他5-6年來(lái)對(duì)于自動(dòng)駕駛的insight,他認(rèn)為自動(dòng)駕駛最重要和最難的問(wèn)題是建立向量空間,也聊了他為什么選擇以計(jì)算機(jī)視覺(jué)為中心的自動(dòng)駕駛技術(shù)路線。
免費(fèi) 12分鐘 54播放
查看
視覺(jué)自動(dòng)駕駛的實(shí)例教程
此流水線分兩個(gè)階段進(jìn)行訓(xùn)練:(1) 視覺(jué)編碼器在幾個(gè)輔助任務(wù)的感知數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,包括語(yǔ)義分割、道路類型分類和相關(guān)紅綠燈的存在,即判斷是否有這樣的交通燈及其狀態(tài)和距離。(2) 可視編碼器固定,基于GRI的 DRL 網(wǎng)絡(luò),通過(guò)離線演示智體預(yù)生成的專家數(shù)據(jù)和在線探索智體從模擬器收集的數(shù)據(jù),來(lái)進(jìn)行訓(xùn)練。在任何一個(gè)給定的訓(xùn)練步驟,其下一個(gè)添加到重放緩存(replay buffer)的epoch,一定概率來(lái)自演示智體,其他則來(lái)自探索代理。動(dòng)作對(duì)應(yīng)于作用到車(chē)輛的一對(duì)數(shù)據(jù)(轉(zhuǎn)向、油門(mén))。
這個(gè)算法,即GRI for Autonomous Driving (GRIAD) ,是GRI方法的調(diào)整版,在模擬器CARLA運(yùn)行的視覺(jué)自動(dòng)駕駛(AD)。GRI 是一種方法,用重放緩存(如 SAC、DDPG、DQN 及其改進(jìn)版)在任何不帶策略(off-policy) RL 算法上直接實(shí)現(xiàn)。GRI建立在于這樣一個(gè)假設(shè),即專家演示可以被視為完美的數(shù)據(jù),其基本策略將獲得持續(xù)的高獎(jiǎng)勵(lì),表示為演示獎(jiǎng)勵(lì) 。實(shí)驗(yàn)中,選擇其作為獎(jiǎng)勵(lì)的最大值。
GRI的想法是在訓(xùn)練階段將演示中的專業(yè)知識(shí)蒸餾送給RL智體。為此,定義兩種類型的智體:(i)在線探索智體,它是常規(guī)的RL智體,用于探索環(huán)境將經(jīng)驗(yàn)收集到內(nèi)存緩存,以及(ii)離線演示智體,與持續(xù)演示獎(jiǎng)勵(lì)相關(guān)的專家數(shù)據(jù)發(fā)送到內(nèi)存緩存。如下是GRI的偽代碼算法:
基于Implicit Affordances方法(“End-to-end model-free reinforcement learning for urban driving using implicit affordances“. CVPR 2020),GRI用于視覺(jué)自動(dòng)駕駛。
展開(kāi) 基于現(xiàn)有成像設(shè)備,機(jī)器視覺(jué)之算法視覺(jué)實(shí)現(xiàn)完全自動(dòng)駕駛,是一件不可能的事,邏輯:空間景物投影在圖像傳感器上生成平面顏色點(diǎn)陣,是失真不可靠的數(shù)據(jù),算法再完美,數(shù)據(jù)不可靠,結(jié)果自然不可靠。空間視覺(jué)技術(shù)重塑了成像設(shè)備結(jié)構(gòu)和控制方法,使其獲得完整 一 一對(duì)標(biāo)的數(shù)據(jù)鏈,生成3維坐標(biāo)顏色點(diǎn)陣,連續(xù)坐標(biāo)點(diǎn)陣即景物輪廓,空間視覺(jué)技術(shù)重新定義的相機(jī),使其完成從生成相片到生成場(chǎng)景的進(jìn)化,場(chǎng)景實(shí)現(xiàn)數(shù)字孿生到平行空間飛越,實(shí)現(xiàn)方法從計(jì)算模擬變成實(shí)時(shí)映射。
總結(jié)
本文主要是基于,硬件,軟件,功能三塊進(jìn)行視覺(jué)自動(dòng)駕駛方案的寬泛探討。其實(shí)很明確,自動(dòng)駕駛目前應(yīng)該形成了以視覺(jué)AI 為主導(dǎo),算力為依托,大數(shù)據(jù)為基數(shù)的一整套工具產(chǎn)業(yè)鏈條。
所以自動(dòng)駕駛未來(lái)的差異點(diǎn)可能還是會(huì)回歸品牌特征和個(gè)性的細(xì)微體驗(yàn)差異,而非各種功能。
當(dāng)然水平有限,權(quán)當(dāng)拋磚引玉,歡迎留言互相學(xué)習(xí)探討。
參考文章
Autonomous Driving Technology for Connected Cars - 日立
Developing Autonomous Driving EVs for the China Market XPENG Motors’ Approach - 谷俊麗
展開(kāi) 雖然還是要把自動(dòng)駕駛作為宣傳手段和增值盈利的方法,但是打死也不說(shuō)責(zé)任由自己來(lái)承擔(dān)。這就是為什么現(xiàn)在都在打擦邊球,堅(jiān)決不說(shuō)自己的系統(tǒng)是L3,而只是無(wú)限接近L3的原因。
自動(dòng)駕駛系統(tǒng)的架構(gòu)大致如下所示。分為感知、決策和控制(或執(zhí)行)。其中感知部分是決定所謂自動(dòng)駕駛路線的關(guān)鍵因素,相當(dāng)于人類的五官,來(lái)獲取外部的信息。決策部分可以類比為人類的大腦,用來(lái)進(jìn)行判斷,決定對(duì)車(chē)輛如何進(jìn)行控制。而控制(執(zhí)行)部分可以想象為人類的四肢——控制車(chē)輛的速度和轉(zhuǎn)向,也就是橫向和縱向的運(yùn)動(dòng)。
長(zhǎng)期以來(lái),對(duì)于自動(dòng)駕駛的技術(shù)路線有多種思路。以特斯拉為首的一派覺(jué)得純視覺(jué)就足夠了。因?yàn)槿祟愰_(kāi)車(chē)的時(shí)候主要靠的還是視覺(jué)(眼睛)來(lái)感知環(huán)境信息。其他派別的人有的覺(jué)得視覺(jué)加上毫米波雷達(dá)就夠了,有的覺(jué)得視覺(jué)之外還需要毫米波加上激光雷達(dá)。總之,在現(xiàn)在已知的感知系統(tǒng)中,一共只有攝像頭、毫米波雷達(dá)、激光雷達(dá),以及傳統(tǒng)的超聲波雷達(dá),但是超聲波雷達(dá)僅適用于近距離的感知(米級(jí)),可以用于泊車(chē)場(chǎng)景中,最常見(jiàn)的用途就是倒車(chē),所以又被稱之為倒車(chē)?yán)走_(dá)。
下圖是一個(gè)自動(dòng)駕駛的感知系統(tǒng)的方案,集合了所有上述的幾種感知設(shè)備,可以說(shuō)是武裝到了牙齒。
無(wú)論如何,視覺(jué)系統(tǒng)已經(jīng)成為了自動(dòng)駕駛的重要組成部分。然而,純靠視覺(jué)靠譜嗎?在回答這個(gè)問(wèn)題之前,我們先來(lái)看看人眼的“技術(shù)參數(shù)”。
展開(kāi) 車(chē)聯(lián)網(wǎng)領(lǐng)域隨著物聯(lián)網(wǎng)與交通運(yùn)輸領(lǐng)域的深度融合蓬勃發(fā)展.隨著深度學(xué)習(xí)的進(jìn)步,車(chē)聯(lián)網(wǎng)領(lǐng)域的自動(dòng)駕駛技術(shù)得到了突破性的發(fā)展,并有演化成一場(chǎng)新的汽車(chē)工業(yè)革命的趨勢(shì).無(wú)論是特斯拉、蔚來(lái)等新型車(chē)企,還是福特、寶馬等傳統(tǒng)車(chē)企都陸續(xù)拿到了自動(dòng)駕駛路測(cè)牌照,著眼于研發(fā)深度自動(dòng)駕駛技術(shù).迅猛發(fā)展的深度自動(dòng)駕駛技術(shù)正逐漸成為車(chē)聯(lián)網(wǎng)領(lǐng)域的主要支撐技術(shù)之一,正在改變未來(lái)的交通和出行方式.
視覺(jué)感知模塊是自動(dòng)駕駛進(jìn)行環(huán)境感知的重要組件,也是車(chē)輛進(jìn)行智能決策的重要基礎(chǔ).自動(dòng)駕駛領(lǐng)域的重要企業(yè)特斯拉更是將視覺(jué)感知模塊作為其駕駛系統(tǒng)的唯一環(huán)境感知模塊.因此,自動(dòng)駕駛系統(tǒng)視覺(jué)感知模塊的安全性是自動(dòng)駕駛系統(tǒng)正常工作的關(guān)鍵.雖然視覺(jué)感知模塊的表現(xiàn)隨著深度視覺(jué)技術(shù)的發(fā)展穩(wěn)步提升,但是其從駕駛環(huán)境中感知到的特征語(yǔ)義難被理解、決策過(guò)程無(wú)法解釋.如何對(duì)自動(dòng)駕駛系統(tǒng)視覺(jué)感知模塊的安全性進(jìn)行充分測(cè)試,已經(jīng)成為了一個(gè)迫在眉睫、亟待解決的問(wèn)題.
誠(chéng)然,圍繞深度學(xué)習(xí)可解釋性方面的工作有了一定的突破,但是距離分析清楚自動(dòng)駕駛視覺(jué)感知模塊的錯(cuò)誤傳導(dǎo)機(jī)理還有較遠(yuǎn)的距離.近年來(lái),神經(jīng)網(wǎng)絡(luò)的黑盒攻擊方法的進(jìn)步,啟發(fā)大家提出了一些基于場(chǎng)景搜索的自動(dòng)駕駛視覺(jué)感知模塊安全性測(cè)試技術(shù).這些場(chǎng)景驅(qū)動(dòng)的測(cè)試方法利用黑盒測(cè)試的思路,為駕駛系統(tǒng)提供盡可能多的駕駛場(chǎng)景數(shù)據(jù),觀察自動(dòng)駕駛系統(tǒng)的輸出與測(cè)試預(yù)言(TestOracle)之間的差異,進(jìn)而分析自動(dòng)駕駛系統(tǒng)視覺(jué)感知模塊的安全性.
展開(kāi) 
視覺(jué)自動(dòng)駕駛的相關(guān)專題、標(biāo)簽、搜索
視覺(jué)自動(dòng)駕駛自動(dòng)駕駛視覺(jué)定位純視覺(jué)自動(dòng)駕駛自動(dòng)駕駛多目視覺(jué)感知自動(dòng)駕駛視覺(jué)感知方案自動(dòng)駕駛 自動(dòng)駕駛 汽車(chē)動(dòng)力自動(dòng)駕駛汽車(chē)動(dòng)力自動(dòng)駕駛仿真優(yōu)化芯片自動(dòng)駕駛仿真優(yōu)化芯片自動(dòng)駕駛線控底盤(pán)是自動(dòng)駕駛的必要條件,自動(dòng)駕駛是線控底盤(pán)的充分條件仿真優(yōu)化芯片自動(dòng)駕駛仿真優(yōu)化芯片自動(dòng)駕駛仿真優(yōu)化芯自動(dòng)駕駛自動(dòng)駕駛數(shù)據(jù)集自動(dòng)標(biāo)注
視覺(jué)自動(dòng)駕駛的最新內(nèi)容
Ansys自動(dòng)駕駛汽車(chē)仿真解決方案基于從傳感器到系統(tǒng)級(jí)的完整工具鏈,通過(guò)軟件在環(huán)(SiL)與硬件在環(huán)(HiL)閉環(huán)測(cè)試,結(jié)合高保真合成數(shù)據(jù)與開(kāi)放架構(gòu)生態(tài),大幅提升開(kāi)發(fā)效率并降低測(cè)試成本。在近期發(fā)布的"Ansys 應(yīng)用類系列網(wǎng)絡(luò)研討會(huì)全面上線"中,涵蓋4場(chǎng)AVxcelerate專題內(nèi)容,系統(tǒng)解讀自動(dòng)駕駛仿真的核心能力與最新進(jìn)展。
本次系列網(wǎng)絡(luò)研討會(huì)將聚焦Ansys 2026 R1 AVxcelerate
然而,一個(gè)能夠以假亂真的視覺(jué)場(chǎng)景,對(duì)于自動(dòng)駕駛仿真、數(shù)字孿生等工業(yè)應(yīng)用而言,仍然只是起點(diǎn)。仿真系統(tǒng)的真正價(jià)值,在于提供一個(gè)“可交互、可驗(yàn)證、可推演”的數(shù)字環(huán)境。這意味著,場(chǎng)景中的物體必須能夠響應(yīng)碰撞、發(fā)生形變;表面材質(zhì)需要符合物理光學(xué)規(guī)律,呈現(xiàn)真實(shí)的反射與光澤;環(huán)境光照也應(yīng)支持動(dòng)態(tài)變化,以模擬從正午到深夜、從晴天到雨霧的完整觀測(cè)條件。
2026年,自動(dòng)駕駛仿真賽道將持續(xù)升溫。
回顧2025年,兩大仿真新技術(shù)快速走進(jìn)公眾視野,分別是世界模型(World Model)與3DGS(3D Gaussian Splatting,3D高斯?jié)姙R)。
關(guān)于世界模型,此前也寫(xiě)了挺多科普文章,甚至發(fā)布了一些視頻效果,感興趣的小伙伴可以去搜了看看,本文就不展開(kāi)了。
而關(guān)于3DGS,我則一直覺(jué)得很神秘,因此特地做了一些探索,甚至申請(qǐng)到了商用軟件來(lái)試用
本文原刊登于Ansys.com:《Ansys AVxcelerate Sensors Software Leverages NI-RDMA for Hardware-in-the-loop (HiL) Testing》
作者:Lionel Bennes | Ansys高級(jí)產(chǎn)品經(jīng)理
編輯整理:劉宏鯤 | Ansys高級(jí)應(yīng)用工程師
原始設(shè)備制造商(OEM)和供應(yīng)商正在潛心研究、不懈努力地推進(jìn)自動(dòng)駕駛技術(shù)
本項(xiàng)目客戶為國(guó)內(nèi)一所智能駕駛為核心研究方向的高校科研團(tuán)隊(duì)。團(tuán)隊(duì)長(zhǎng)期聚焦于自動(dòng)駕駛感知、定位與系統(tǒng)級(jí)驗(yàn)證研究,同時(shí)承擔(dān)研究生教學(xué)與科研平臺(tái)建設(shè)任務(wù)。 在科研與教學(xué)并行推進(jìn)的背景下,客戶希望構(gòu)建一套可持續(xù)擴(kuò)展、可復(fù)用的自動(dòng)駕駛數(shù)據(jù)采集與數(shù)字孿生測(cè)試平臺(tái),支撐從真實(shí)道路采集到高保真仿真驗(yàn)證的完整研究鏈路。
在此背景下,康謀為其提供了數(shù)采車(chē)系統(tǒng)、無(wú)人駕駛車(chē)輛集成方案以及數(shù)字孿生仿真服務(wù),幫助客戶打通“
</p><p><br></p><p>所有這些系統(tǒng)都由人工智能(AI)傳感進(jìn)行指導(dǎo),例如計(jì)算機(jī)視覺(jué),它是自動(dòng)駕駛汽車(chē)(AV)感知堆棧的核心功能。AV技術(shù)堆棧由多個(gè)功能層組成,包含特定的功能模塊,負(fù)責(zé)自動(dòng)駕駛所需的感知、連接、處理、分析和決策。與人類駕駛員非常相似,車(chē)輛的感知堆棧也會(huì)“環(huán)顧四周”,從車(chē)輛傳感器收集數(shù)據(jù),然后對(duì)數(shù)據(jù)進(jìn)行處理,以了解目前的駕駛環(huán)境并對(duì)其做出響應(yīng)。
2026 廣州國(guó)際汽車(chē)自動(dòng)駕駛與具身智能技術(shù)展風(fēng)口將至!廣州這場(chǎng)行業(yè)盛會(huì)不容錯(cuò)過(guò)5個(gè)月前
當(dāng)自動(dòng)駕駛從輔助走向高階,具身智能從實(shí)驗(yàn)室邁向量產(chǎn)賽道,兩大前沿領(lǐng)域的碰撞正重構(gòu)汽車(chē)產(chǎn)業(yè)格局。數(shù)據(jù)顯示,2026年智能駕駛商業(yè)化進(jìn)程將加速推進(jìn),L2級(jí)輔助駕駛滲透率有望超70%,具身智能更是被業(yè)內(nèi)預(yù)判為萬(wàn)億級(jí)黃金賽道。在這一產(chǎn)業(yè)變革的關(guān)鍵節(jié)點(diǎn),AUTO TECH China 2026廣州國(guó)際自動(dòng)駕駛與具身智能技術(shù)展覽會(huì)即將于11月27日-30日在廣州廣交會(huì)展館D區(qū)盛大啟幕,為全球行業(yè)同仁搭建起技術(shù)交流
自動(dòng)駕駛隱私保護(hù)出路在哪里5個(gè)月前
自動(dòng)駕駛技術(shù)正加速重塑未來(lái)交通格局,成為全球科技與產(chǎn)業(yè)競(jìng)爭(zhēng)的核心賽道。然而,技術(shù)迭代的背后,數(shù)據(jù)安全與隱私保護(hù)的矛盾日益凸顯。自動(dòng)駕駛系統(tǒng)的研發(fā)與測(cè)試高度依賴海量真實(shí)場(chǎng)景視覺(jué)數(shù)據(jù),這些數(shù)據(jù)在捕捉復(fù)雜交通環(huán)境的同時(shí),不可避免地涉及過(guò)往行人和車(chē)輛的個(gè)人身份信息。
2022 年以來(lái),相關(guān)隱私爭(zhēng)議通過(guò)訴訟等形式持續(xù)發(fā)酵,引發(fā)全球?qū)ψ詣?dòng)駕駛行業(yè)數(shù)據(jù)合規(guī)性的廣泛討論。如何在不阻礙技術(shù)創(chuàng)新的前提下,筑牢隱私保護(hù)防線
一、引言
在自動(dòng)駕駛技術(shù)飛速發(fā)展的當(dāng)下,高精度、高保真的仿真場(chǎng)景構(gòu)建成為關(guān)鍵。3D Gaussian Splatting(3DGS)憑借高效渲染與逼真場(chǎng)景還原能力,逐漸成為三維重建與仿真領(lǐng)域的焦點(diǎn)。然而,實(shí)際應(yīng)用中,如何將多源異構(gòu)數(shù)據(jù)高效轉(zhuǎn)化為可用的 3DGS 場(chǎng)景,如何保障場(chǎng)景與真實(shí)環(huán)境的一致性,成為了行業(yè)難題。
針對(duì)3DGS 落地自動(dòng)駕駛仿真的核心痛點(diǎn), aiSim 打造從原始數(shù)據(jù)標(biāo)準(zhǔn)化到高保真仿真驗(yàn)證的全流程方案
當(dāng)下正是一個(gè)由數(shù)據(jù)驅(qū)動(dòng)的偉大變革時(shí)代。從ADAS到AD,每一次技術(shù)的躍遷都離不開(kāi)海量道路數(shù)據(jù)的采集、標(biāo)注與分析。以圖像數(shù)據(jù)為例,它們是訓(xùn)練和優(yōu)化感知算法、提升系統(tǒng)安全性的寶貴資源。
然而,當(dāng)計(jì)劃將這些數(shù)據(jù)送往異國(guó)研發(fā)團(tuán)隊(duì)時(shí),數(shù)據(jù)合規(guī)這個(gè)難題便擺在了面前。
一、全球化研發(fā)的數(shù)據(jù)合規(guī)挑戰(zhàn)
對(duì)于任何一個(gè)有全球拓展計(jì)劃的車(chē)企或技術(shù)供應(yīng)商而言,跨國(guó)研發(fā)與測(cè)試通常是不可避免的,例如驗(yàn)證算法在不同交通環(huán)境