合成數(shù)據(jù)生成
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2026-01-04
合成數(shù)據(jù)生成的實(shí)例教程
然而，這些感知系統(tǒng)要在多樣駕駛行為、復(fù)雜座艙布局和極端光照條件下持續(xù)穩(wěn)定運(yùn)行，傳統(tǒng)的真實(shí)數(shù)據(jù)采集方式已難以支撐其開發(fā)迭代需求。智能座艙的技術(shù)演進(jìn)，正由“采集驅(qū)動(dòng)”轉(zhuǎn)向“仿真驅(qū)動(dòng)”。
一、智能座艙仿真的挑戰(zhàn)與突破
圖1：座艙實(shí)例圖
智能座艙中的AI系統(tǒng)，不僅需要理解駕駛員的行為和狀態(tài)，還要同時(shí)感知乘員、兒童、寵物乃至環(huán)境中的潛在交互風(fēng)險(xiǎn)。其仿真面臨幾大挑戰(zhàn)：
（1）行為維度復(fù)雜：如疲勞駕駛、身體遮擋、嬰兒誤留、飲水打電話等多樣行為難以統(tǒng)一采集；
（2）環(huán)境變因多樣：如夜間光照、紅外反射、遮擋物等情況干擾傳感器判斷；
（3）隱私合規(guī)嚴(yán)苛：特別是在兒童檢測(cè)等場(chǎng)景，獲取真實(shí)數(shù)據(jù)存在法律與倫理障礙。
這些因素決定了：高質(zhì)量的、多模態(tài)的合成數(shù)據(jù)與虛擬仿真，已成為智能座艙感知系統(tǒng)研發(fā)不可或缺的支撐工具。
二、合成數(shù)據(jù)：真實(shí)世界外的“數(shù)據(jù)宇宙”
在智能座艙開發(fā)中，獲取高質(zhì)量訓(xùn)練數(shù)據(jù)往往面臨隱私、成本和長(zhǎng)尾場(chǎng)景覆蓋不足的問題。合成數(shù)據(jù)以其可控、高效、多樣、合規(guī)等優(yōu)勢(shì)，正成為訓(xùn)練AI感知系統(tǒng)的重要資源。
圖2：多種類型傳感器下的合成數(shù)據(jù)（Anyverse）
相比真實(shí)數(shù)據(jù)，合成數(shù)據(jù)具有以下優(yōu)勢(shì)：
（1）全面多樣：可靈活生成不同人群、行為、座艙結(jié)構(gòu)與環(huán)境變量組合，輕松覆蓋極端和低頻場(chǎng)景；
（2）精準(zhǔn)標(biāo)注：輸出像素級(jí)真值、凝視向量、關(guān)鍵點(diǎn)、分割圖等，省去人工標(biāo)注；
（3）高效合規(guī)：不涉及真實(shí)乘員或兒童影像，天然滿足GDPR等隱私法規(guī)；
（4）可重復(fù)與可擴(kuò)展：相同條件下隨時(shí)重建，便于模型對(duì)比測(cè)試與大規(guī)模數(shù)據(jù)擴(kuò)增。
在 DMS、OMS、兒童存在檢測(cè)（CPD）、安全帶識(shí)別、寵物識(shí)別等多個(gè)智能座艙感知模塊中，合成數(shù)據(jù)不僅作為訓(xùn)練數(shù)據(jù)使用，也廣泛應(yīng)用于模型驗(yàn)證、場(chǎng)景補(bǔ)全與魯棒性測(cè)試。
展開 提供多種數(shù)據(jù)分割方式及標(biāo)注JSON文件的艙內(nèi)合成數(shù)據(jù)示例
05 合成數(shù)據(jù)：助力感知系統(tǒng)開發(fā)
綜上所述，合成數(shù)據(jù)不再是數(shù)據(jù)稀缺時(shí)的權(quán)宜之計(jì)，而正在演變?yōu)橹悄芷嚫兄到y(tǒng)大規(guī)模、高頻率、端到端開發(fā)的關(guān)鍵支撐。通過系統(tǒng)性建設(shè)合成數(shù)據(jù)體系，開發(fā)團(tuán)隊(duì)可以實(shí)現(xiàn)：
1、快速生成高質(zhì)量訓(xùn)練數(shù)據(jù)，覆蓋邊緣與稀缺場(chǎng)景；
2、標(biāo)注自動(dòng)化與一致性保障；
3、多模態(tài)融合的標(biāo)準(zhǔn)化輸出；
4、可追溯、可重現(xiàn)的驗(yàn)證機(jī)制。
企業(yè)在構(gòu)建合成數(shù)據(jù)平臺(tái)時(shí)，重點(diǎn)關(guān)注以下三點(diǎn)：
1、平臺(tái)工具鏈解耦：保持生成邏輯獨(dú)立于具體仿真平臺(tái)；
2、結(jié)構(gòu)對(duì)齊標(biāo)準(zhǔn)數(shù)據(jù)集：如 nuScenes、COCO 等；
3、自動(dòng)化與參數(shù)化流程完整閉環(huán)。
通過艙外與艙內(nèi)雙向并進(jìn)的合成數(shù)據(jù)體系，智能汽車的感知能力將具備更高的魯棒性、覆蓋性與工程實(shí)用性。
展開 一、引言
隨著自動(dòng)駕駛技術(shù)的逐步落地，感知系統(tǒng)對(duì)數(shù)據(jù)的依賴正以前所未有的速度增長(zhǎng)。傳統(tǒng)實(shí)車采集雖然真實(shí)可信，但在效率、安全性、標(biāo)注精度以及邊緣場(chǎng)景覆蓋方面均存在顯著限制。
合成數(shù)據(jù)（Synthetic Data）因具備低成本、高可控性、無限擴(kuò)展性和高精度標(biāo)簽等優(yōu)勢(shì)，已成為感知算法訓(xùn)練與驗(yàn)證的重要數(shù)據(jù)來源。尤其在多模態(tài)、多場(chǎng)景、大規(guī)模自動(dòng)化生成等方面，仿真平臺(tái)正成為構(gòu)建感知數(shù)據(jù)體系的重要工具。
在感知系統(tǒng)的開發(fā)過程中，我們依托仿真平臺(tái)生成覆蓋多種場(chǎng)景和傳感器類型的合成數(shù)據(jù)，用于支持AVM（環(huán)視系統(tǒng)）開發(fā)，同時(shí)也利用合成數(shù)據(jù)生成符合公開格式標(biāo)準(zhǔn)的數(shù)據(jù)集，助力算法在真實(shí)部署前實(shí)現(xiàn)高效迭代與驗(yàn)證。本文將系統(tǒng)介紹利用合成數(shù)據(jù)開發(fā)的具體應(yīng)用流程和實(shí)踐效果。
二、 AVM系統(tǒng)開發(fā)中的仿真驗(yàn)證應(yīng)用
環(huán)視系統(tǒng)（AVM, Around View Monitor）是自動(dòng)駕駛和高級(jí)輔助駕駛系統(tǒng)（ADAS）中常見的功能模塊，通常由4個(gè)或更多廣角魚眼相機(jī)構(gòu)成，通過拼接多個(gè)攝像頭圖像生成車輛周圍360°的鳥瞰圖。
自動(dòng)泊車系統(tǒng)（APA）需要環(huán)視圖像提供對(duì)車輛周圍環(huán)境的精準(zhǔn)感知。通過仿真方式模擬魚眼相機(jī)布設(shè)和 BEV 拼接，可生成多種泊車場(chǎng)景下的高保真圖像，包括地庫(kù)、斜列車位、窄通道等復(fù)雜工況。相比實(shí)車采集，仿真不僅可以批量構(gòu)造極端和邊緣泊車條件，還能自動(dòng)提供精確的障礙物位置與車輛姿態(tài)標(biāo)注，大幅加速感知模型的訓(xùn)練和驗(yàn)證流程，減少實(shí)車調(diào)試時(shí)間。
傳統(tǒng) AVM 系統(tǒng)的相機(jī)標(biāo)定依賴人工操作和實(shí)車設(shè)備，流程繁瑣且精度受限。通過仿真，可控制各攝像頭位置與視角，并生成可重復(fù)、可驗(yàn)證的圖像和標(biāo)定數(shù)據(jù)，適用于整車項(xiàng)目開發(fā)初期的快速迭代。虛擬標(biāo)定不僅提高了標(biāo)定效率，還支持在方案切換、批量測(cè)試、相機(jī)布局驗(yàn)證等場(chǎng)景中自動(dòng)生成對(duì)齊標(biāo)注，降低人力投入，提升系統(tǒng)上線速度。
展開 nuScenes數(shù)據(jù)集包含1000個(gè)場(chǎng)景，每20秒以2Hz的頻率進(jìn)行關(guān)鍵幀采樣，所以總共有40000張非常相似的40張標(biāo)注圖像(來自同一個(gè)場(chǎng)景)。給這類數(shù)據(jù)貼上標(biāo)簽已經(jīng)是一項(xiàng)龐大而昂貴的工作。
將其與名為ProcSy的自動(dòng)駕駛合成數(shù)據(jù)集進(jìn)行比較。它的特點(diǎn)是像素完美的分割(使用合成數(shù)據(jù)，沒有區(qū)別，你可以像要求分割邊界框一樣簡(jiǎn)單)，使用CityEngine構(gòu)建深度地圖的城市場(chǎng)景與交通，然后用虛幻引擎渲染。它看起來像這樣(帶有分割、深度和遮擋圖)：
在論文中，比較了不同分割模型在惡劣天氣條件和其他可能使問題復(fù)雜化的因素下的性能。為此，他們只需要11000幀的小數(shù)據(jù)樣本，這就是你可以從上面的網(wǎng)站下載的(順便說一下，壓縮文件就有30Gb)。他們報(bào)告說，這個(gè)數(shù)據(jù)集是從135萬(wàn)可用的道路場(chǎng)景中隨機(jī)抽取的。但最重要的部分是數(shù)據(jù)集是程序生成的，所以實(shí)際上它是一個(gè)潛在的無限數(shù)據(jù)流，你可以改變地圖、交通類型、天氣狀況等等。
這是合成數(shù)據(jù)的主要特點(diǎn)：一旦你預(yù)先投資創(chuàng)建(或者更準(zhǔn)
確地說，尋找和調(diào)整)你感興趣的目標(biāo)的3D模型，你就可以擁有盡可能多的數(shù)據(jù)。如果你做了額外的投資，你甚至可以轉(zhuǎn)向全尺寸交互式3D世界，但這又是另一個(gè)故事了。
英文原文：
https://synthesis.ai/2020/08/05/object-detection-with-synthetic-data-i-introduction-to-object-detection/
展開 圖7：環(huán)視BEV合成AVM示例
以此類推可以得到4個(gè)方向的BEV視圖及對(duì)應(yīng)的投影參數(shù)，結(jié)合車輛圖層作為覆蓋，即可生成對(duì)應(yīng)傳感器布置下的二維AVM合成圖像，如圖7所示，其中每個(gè)像素分辨率為1cm2。
圖8：傳感器外參優(yōu)化示例
通過仿真軟件，一方面可以在控制算法不變的情況下尋找出更優(yōu)的傳感器外參布局，另一方面也可以在控制傳感器不變的情況下在多種不同場(chǎng)景驗(yàn)證，進(jìn)而迭代優(yōu)化AVM算法的表現(xiàn)。結(jié)合相機(jī)傳感器自帶的標(biāo)注信息，后續(xù)也可以進(jìn)行包括障礙物識(shí)別在內(nèi)的更多功能驗(yàn)證。
圖9：不同場(chǎng)景下的AVM合成數(shù)據(jù)
四、總結(jié)與展望
本文介紹了基于aiSim仿真軟件生成AVM合成數(shù)據(jù)的完整流程，包括傳感器與地圖的配置、圖像處理與BEV視圖生成以及最終的AVM合成驗(yàn)證。
不難看出，仿真軟件的高效性與靈活性保障了在安全可控的環(huán)境中快速驗(yàn)證算法性能的可行性，并可以通過多場(chǎng)景測(cè)試與參數(shù)優(yōu)化改進(jìn)算法，最終提升其綜合表現(xiàn)。
展開 
合成數(shù)據(jù)生成的相關(guān)專題、標(biāo)簽、搜索
合成數(shù)據(jù)生成的最新內(nèi)容
1.1的真實(shí)物理交互
內(nèi)置MuJoCo、Bullet、ODE等5款主流物理引擎
精準(zhǔn)模擬碰撞、抓取、軟體交互、繩索布料等復(fù)雜場(chǎng)景
為Sim-to-Real提供堅(jiān)實(shí)的底層物理支撐
1.2專為算法訓(xùn)練與“腦干協(xié)同”設(shè)計(jì)
合成數(shù)據(jù)工廠可自動(dòng)生成深度、語(yǔ)義、力覺等標(biāo)注數(shù)據(jù)
支持正逆運(yùn)動(dòng)學(xué)求解，適配分支、閉環(huán)、冗余自由度等復(fù)雜機(jī)構(gòu)
集成OMPL庫(kù)，可實(shí)現(xiàn)靈活高效的路徑與運(yùn)動(dòng)規(guī)劃
ADI 的平臺(tái)將支持包括川崎重工（Kawasaki Heavy Industries）在內(nèi)的首批用戶，使他們能夠以更高的預(yù)測(cè)精度模擬機(jī)器人性能并生成合成數(shù)據(jù)。這減少了反復(fù)的實(shí)體測(cè)試需求并加速開發(fā)進(jìn)程。新思科技在 GTC 大會(huì)的展臺(tái)進(jìn)行了一套配備力覺、視覺和接觸傳感的雙臂機(jī)器人系統(tǒng)的演示，以及相應(yīng)的 Isaac Sim 可視化展示。
一、前言
在自動(dòng)駕駛感知系統(tǒng)的研發(fā)過程中，模型的性能高度依賴于大規(guī)模、高質(zhì)量的感知數(shù)據(jù)集。目前業(yè)界常用的數(shù)據(jù)集包括 KITTI、nuScenes、Waymo Open Dataset 等，它們?yōu)樽詣?dòng)駕駛算法的發(fā)展奠定了重要基礎(chǔ)。
然而，構(gòu)建真實(shí)世界的感知數(shù)據(jù)集并非易事——不僅需要投入大量人力、物力與時(shí)間成本，還需要面對(duì)數(shù)據(jù)采集受限、隱私合規(guī)、標(biāo)注耗時(shí)以及極端場(chǎng)景（corner case
其合成數(shù)據(jù)生成流程需覆蓋：
1、地圖構(gòu)建與拓?fù)浣＃喊ǖ缆方Y(jié)構(gòu)、車道線、交通信號(hào)、標(biāo)識(shí)牌等。
2、動(dòng)態(tài)體建模與行為建控：構(gòu)建多類交通參與者并設(shè)定其行為模型，模擬現(xiàn)實(shí)中復(fù)雜交互。
3、環(huán)境建模與擾動(dòng)注入：配置多維氣候、光照、背景動(dòng)態(tài)因素，覆蓋實(shí)際采集中難以獲取的極端條件。
4、多模態(tài)傳感器仿真：同步輸出相機(jī)圖像、激光雷達(dá)點(diǎn)云、毫米波雷達(dá)信息等。
中國(guó)汽車市場(chǎng)以年均超 3000 萬(wàn)輛的銷量規(guī)模（占全球 1/3以上），正推動(dòng)安全標(biāo)準(zhǔn)從被動(dòng)防護(hù)向主動(dòng)預(yù)防轉(zhuǎn)型。2024 年 7 月實(shí)施的 C-NCAP （ China New Car Assessment Program）修訂版首次將駕駛員監(jiān)控系統(tǒng)（DMS）、道路特征識(shí)別（RFR）納入評(píng)分體系，其中 DMS 占主動(dòng)安全分值 40%（總分 2 分），檢測(cè)準(zhǔn)確率需≥90%。
這一變革不僅響應(yīng)工信部
這些工程機(jī)制協(xié)同構(gòu)成了一個(gè)面向規(guī)模化訓(xùn)練的合成數(shù)據(jù)生成基礎(chǔ)，也為艙內(nèi)感知模型在復(fù)雜環(huán)境中的表現(xiàn)提供了有力支撐。
五、合成數(shù)據(jù)應(yīng)為艙內(nèi)感知系統(tǒng)“數(shù)據(jù)主力軍”
從客戶反饋出發(fā)，我們始終認(rèn)為：
合成數(shù)據(jù)的價(jià)值，不僅在于節(jié)省成本，更在于它能合成“你永遠(yuǎn)采不到、但必須要有”的關(guān)鍵場(chǎng)景。
通過合成數(shù)據(jù)仿真平臺(tái)，我們借助從環(huán)境搭建到數(shù)據(jù)生成的全流程仿真，成功實(shí)現(xiàn)了4個(gè)魚眼相機(jī)生成AVM合成數(shù)據(jù)的優(yōu)化和驗(yàn)證。
<p><br></p><p>如今，各行各業(yè)對(duì)生成式人工智能（GenAI）的參與度遠(yuǎn)超以往。GenAI 發(fā)展迅猛，不斷帶來新的機(jī)遇與價(jià)值。然而，對(duì)企業(yè)而言，實(shí)施 GenAI 常面臨諸多挑戰(zhàn)，或覺其難以駕馭，或擔(dān)憂風(fēng)險(xiǎn)過高。</p><p><br></p><p>盡管存在一定局限，但<strong>技術(shù)的進(jìn)步以及知識(shí)圖譜等工具的出現(xiàn)，正不斷強(qiáng)化 GenAI 的數(shù)據(jù)分析能力。</strong>在用戶 AI 環(huán)境中引入知識(shí)圖譜
圖6：Anyverse功能概覽
圖7：多樣化的艙內(nèi)合成數(shù)據(jù)
1、關(guān)鍵功能亮點(diǎn)
（1）多樣化艙內(nèi)合成數(shù)據(jù)生成
支持多年齡、種族、姿態(tài)的角色建模，覆蓋兒童座椅狀態(tài)、寵物遮擋、錯(cuò)誤安全帶系法等復(fù)雜情境，輸出 RGB、IR、ToF、Radar 等多傳感器格式數(shù)據(jù)。
圖9：不同場(chǎng)景下的AVM合成數(shù)據(jù)
四、總結(jié)與展望
本文介紹了基于aiSim仿真軟件生成AVM合成數(shù)據(jù)的完整流程，包括傳感器與地圖的配置、圖像處理與BEV視圖生成以及最終的AVM合成驗(yàn)證。
不難看出，仿真軟件的高效性與靈活性保障了在安全可控的環(huán)境中快速驗(yàn)證算法性能的可行性，并可以通過多場(chǎng)景測(cè)試與參數(shù)優(yōu)化改進(jìn)算法，最終提升其綜合表現(xiàn)。
