3D場景的案例
Ansys Lumerical Zemax Speos | CMOS 傳感器相機：3D 場景中的圖像質量分析
第 2 步：Speos仿真
*.OPTdistortion文件被導入到Speos相機傳感器中，以定義相機系統的鏡頭性能，并在具有逼真照明條件的3D場景中評估傳感器感知。我們運行光線追蹤光度ROM相機模擬，比Speos中的完整鏡頭系統模擬快約100倍，并提取關鍵成像指標，如光譜輻照度圖。CMOS成像器傳感器前面的輻照度圖是根據下面所示的完整3D場景計算的，該場景在不同的環境照明條件下，包括白天，黑夜和夜晚。
運算Speos的仿真，得到能量仿真結果，以下是日間光源條件下camera的成像結果：
同樣可以得到顯示白天 3D 場景中測得的照度值圖。
可以通過measurement工具定義傳感器照度仿真結果的的測量區域，并捕獲白天從場景到傳感器的光。在測量信息表中，顯示了傳感器整個區域捕獲的平均照度值。照度結果還使我們能夠探索相機光學特性，例如不同傳感器位置的失真，暗角和分辨率。
第 3 步：Lumerical Simulation
Speos在CMOS成像儀前模擬的光譜輻照度圖需要與傳感器的量子效率相結合，才能生成原始電子圖。Lumerical FDTD和CHARGE工具已被用于量化所設計的CMOS傳感器的量子效率。CMOS圖像傳感器由帶有光學和電子元件的微觀像素組成。主要的光學元件是微透鏡和彩色濾光片，用于將所需波長的光聚焦在成像器底部硅襯底的正確點上。吸收的光子產生帶電載流子，這些載流子被收集并傳輸以在電子側進行檢測。電子設備具有包括柵極和互連在內的組件，這些組件可能會干擾傳感器內部的光路徑。耦合光電仿真在FDTD和CHARGE中完成。
第 4 步：Speos 傳感器系統導出器
Speos傳感器系統導出器是一種用于后處理Speos中相機傳感器捕獲的輻照度圖的工具。
展開 通過讀取Z Buffer深度值將屏幕2D坐標轉化為場景3D坐標（含程序和源碼）
主要有2種方法來實現屏幕2D坐標轉化為場景3D坐標：一種是通過揀選射線，我的《APRG Demo》就是這樣做的，有興趣的可以查看源代碼：http://blog.csdn.net/skyman_2001/archive/2005/10/06/495938.aspx；另一種是通過讀取Z Buffer深度值。相比較而言后者要簡單些。這里專門講如何用后者來實現。
1. 使用雙緩存,打開深度測試：
glClearDepth(1.0f); // 深度緩存設置
glEnable(GL_DEPTH_TEST); // 打開深度測試
glDepthFunc(GL_LEQUAL); // 設置深度測試類型
2. 繪制場景：
3.
展開 浴室驚魂：油管博主用3D打印逼真再現恐懼妄想場景
聽說3D打印er都【在看】
華為XR內容開發工具Reality Studio上線
概述
華為Reality Studio是多功能3D編輯器，它提供了3D場景編輯，動畫制作和事件交互等功能，幫助您快速打造3D可交互場景。可廣泛用于教育培訓、電商購物、娛樂等諸多行業的XR內容開發。
華為Reality Studio目前只支持對模型進行基本的編輯，建模需要使用專業的建模軟件完成。我們的價值在于，不需要了解3D相關的知識就可以非常簡單地開發3D互動場景。
3D場景文件使用
華為Reality Studio導出3D場景文件，您可以使用我們提供的JavaScript插件，在Web頁面中顯示3D場景文件。
推薦配置
類型
Reality Studio工具
硬件
操作系統：Windows 10 X64
內存：16G及以上
硬盤：20G及以上
顯卡：獨立顯卡，顯存2GB以上
屏幕分辨率：1920*1080
Reality Studio V1.3.0.301版本（2020-06-15）
最新子版本號：1.3.0.301
新增特性
場景編輯功能：
模型導入
基礎組件添加
編輯場景資源
顯示視圖查看場景
3D節點屬性編輯
2D控件屬性編輯
場景預覽和保存
快捷編輯功能
動畫制作功能：
動畫時間軸編輯
位移、旋轉、縮放、顯隱、透明度動畫
播放、拷貝、編輯、刪除已有動畫
進入預覽模式下動畫自動播放和循環播放
3D節點和2D控件綁定動畫
2D事件制作功能：
3D節點和2D控件綁定2D事件
展開 
Qt在汽車行業解決方案
酷炫的3D UI
統一的開發工具和語言；支持2D/3D混合場景；高性能渲染引擎
使用Qt開發2D/3D UI
-統一的開發語言：QML
-在同一個源文件中表達2D、3D內容
-2D/3D內容方便地疊加、混合
-2D/3D內容方便地交互控制、復合動畫
統一的所見即所得的2D/3D設計工具
-2D場景和3D場景混合編輯
-動畫、畫面跳轉、狀態機編輯
-可以直接導入Photoshop、Sketch、3D Maya、3D Max、Blender的素材
支持最先進的光照和著色算法
-IBL 基于圖片的光源
-PBR 基于真實物理的渲染過程
Qt Quick 3D功能
動態生成頂點和材質，可重復疊加的后處理Effect
-C++ API自定義頂點和材質，例如3D地形生成
-GLSL開發后處理Effect
支持多種抗鋸齒功能
-Mipmap
-MSAA (Multisample Anti-Aliasing)
-FXAA (Fast approximate Anti-Aliasing) ：基于形態學，快速近似算法
-TAA (Temporal Anti-Aliasing)：基于時間的算法，攝像機角度每幀抖動
-Progressive Anti-Aliasing：基于時間的算法，攝像機角度每幀抖動，用于修飾靜態畫面
2D、3D混合場景
-支持2D、3D混合場景繪制
-支持2D、3D混合場景中的鼠標、鍵盤、觸摸事件
支持Skeletal Animation (骨骼動畫)
支持Morphing Animation (頂點動畫)
-車輛、道路等實體的變形
-3D圖標、狀態標志的過渡動畫
支持3D粒子效果
-雨雪特效
-煙霧特效
-火焰特效
支持鏡面反射
-鏡面反射特效
-水波倒影特效
展開 引領數字體驗未來：UI框架的圖形能力
平面的2D元素通常用于表達控件和其他抽象或符號信息，而3D對象則用于呈現真實世界的實體甚至是復雜的情景。
這兩種視覺表現形式相輔相成，共同在性能與真實感之間取得平衡。3D圖形增強了表現力，而2D元素更易于創建和使用，占用資源較少。隨著技術的發展，2D和3D圖形之間的聯動已經達到了很高的質量和流暢度，可以在3D空間中可以呈現復雜場景，并通過簡單的2D控制輕松訪問。要讓這兩種圖形元素能夠協同工作，UI框架應保證2D與3D元素之間完美同步。并在2D和3D內容上實現相同的功能和易用性，確保應用程序具有廣泛的功能和流暢的性能。
身臨其境的3D圖形
3D圖形可以讓用戶快速輕松地了解復雜的逼真場景。眾所周知的一個例子是汽車顯示屏中的先進駕駛輔助系統（ADAS），它們越來越多地包含了實時渲染汽車在實際駕駛環境中景象的功能。為了向駕駛者提供對汽車周邊環境的清晰、無盲區視角，實體汽車的360度攝像頭輸入為渲染汽車所在的3D場景提供了信息。實時渲染出的反射、陰影和其他效果使得汽車儀表板上的3D場景與實際汽車環境幾乎無區別。
類似的應用程序在各個行業都在不斷開發中，這些應用程序利用實時3D圖形技術創建虛擬形象或數字孿生，通常應用于虛擬現實或增強現實領域。在醫療領域，3D圖形為器官和組織提供交互式可視化，可用于輔助診斷、手術規劃和醫學研究。在這里，診斷影像技術主要依賴于極具真實感的3D視覺效果，用來確定病因或確認診斷。
更廣泛地說，在各個行業中，高度詳細和精細的3D世界的呈現提高了安全性、增強了效率、降低了成本，并提高了產品或服務的整體質量。
顯然，開發這類視覺豐富的UI應用程序需要強大的2D和3D圖形設計工具以及能夠實時高保真顯示的渲染引擎。因此，從圖形功能的角度來看，UI框架包括了許多最先進圖形引擎所具備的典型特性。
展開 在Qt Design Studio中使用3D圖形及視覺效果
打造驚鴻一瞥的亮點
強大的3D圖形在汽車應用中存在豐富而重要的用例，并增加汽車品牌的聲望。Qt Design Studio為基于物理的渲染（PBR）提供了完全支持，以與標準材料模型完全兼容。遵循PBR標準大幅簡化了導入3D資源的任務，因為它確保了模型在Qt Design Studio中的外觀與在內容創建工具中的完全相同，而不需要為不同的表面類型創建自定義著色器。PBR還支持訪問在線可用的數千個3D模型，它們可以根據UI應用程序的需求使用和定制。但Qt Design Studio所能做的遠不止于此。
光、陰影和反射對于創建逼真的3D場景是必不可少的。Qt Design Studio提供了幾種類型的光，包括帶有HDR地圖的IBL，用于超現實主義的渲染。此外，Global Illumination支持模型間接光照，使場景更加真實。
后期處理效果為3D模型和場景添上了點睛一筆。Qt Design Studio目前有21個后期處理效果可供選擇，未來還計劃發布更多。模糊，景深，抗鋸齒，色調映射只是一些現成的效果（3D效果 | Qt Design Studio手冊3.8.0）。后期處理效果可以很容易地通過拖放來添加，使3D場景更具沉浸感，并為完整的UI添加電影化的風格。
最后，粒子效果非常適合創建引人注目的動畫，模擬汽車內外的流體和空氣流動。粒子可以用于包括變形、火花、灰塵和煙霧在內的令人驚嘆的動畫。另外對駕駛可能產生不利影響的外部天氣條件，如雨、風或雪，也可以通過粒子效果有效地表現出來。
Qt Design Studio為在嵌入式環境中創建粒子效果進行了優化，在該環境中處理能力可能受到限制，就像在汽車中使用的設備一樣。
展開 康謀分享 | aiSim5基于生成式AI擴大仿真測試范圍（終）
在前面的幾章節中探討了aiSim仿真合成數據的置信度，此外在場景重建和測試流程閉環的過程中，難免會面臨3D場景制作重建耗時長、成本高、擴展性低以及交通狀況復雜程度難以滿意等問題，當前的主要挑戰在于如何自動化生成3D靜態場景并添加動態實例編輯，從而有效縮短測試流程，擴大仿真測試范圍。
編輯
圖1：實際圖像
圖2：NeRF重建場景
對于3D重建，目前主要的兩種解決方案為NeRF和3DGS。
一、NeRF
1、神經輻射場（Neural Radiance Fields）
NeRF是將三維空間中的每個點的顏色和密度信息編碼為一個連續的函數并由MLP參數化。給定一個視角和三維空間中的點，NeRF可以預測該點的顏色和沿視線方向的密度分布。通過對這些信息進行體積渲染，NeRF能夠合成出新視角下的圖像。
2、優勢
高保真輸出。
基于NerFStudio提供了較為友好地代碼庫。
相對較快的訓練時間。
對于待重建區域具有可擴展性。
3、不足及主要挑戰
渲染速度緩慢。NeRF需要沿著從相機到場景的每條光線進行大量的采樣和計算，以準確估計場景的體積密度和顏色。這個過程計算密集，在NVIDIA A100上進行了測試，全HD分辨率下，渲染一張圖像大約需要10s。
場景深度估計效果不理想。NeRF通過體積渲染隱式地學習了場景的深度信息，但這種深度信息通常是與場景的顏色和密度信息耦合在一起的。這意味著，如果場景中存在遮擋或非朗伯（non-Lambertian）反射等復雜情況，NeRF可能難以準確估計每個像素的深度。
近距離物體重建質量可能較低。
展開 自動駕駛多目視覺感知
Tesla的做法是利用來自多個攝像頭的圖像重建3D場景，并在3D場景下進行標注。
標注者只需要在3D場景中進行一次標注，就可以實時的看到標注結果在各個圖像中的映射，從而進行相應的調整。
3D空間中的標注
人工標注只是整個標注系統的一部分，為了更快更好的獲得標注，還需要借助自動標注和模擬器。自動標注系統首先基于單攝像頭的圖像生成標注結果，然后通過各種空間和時間的線索將這些結果整合起來。形象來說就是各個攝像頭湊在一起討論出一個一致的標注結果。除了多個攝像頭的配合，在路上行駛的多臺Tesla車輛也可以對同一個場景的標注進行融合改進。當然這里還需要GPS和IMU傳感器來獲得車輛的位置和姿態，從而將不同車輛的輸出結果進行空間對齊。自動標注可以解決標注的效率問題，但是對于一些罕見的場景，比如報告中所演示的在高速公路上奔跑的行人，還需要借助模擬器來生成虛擬數據。以上所有這些技術組合起來，才構成了Tesla完整的數據收集和標注系統。關于數據的問題，這里只是稍微涉及了一點，完整的工作鏈還是相當復雜的，之后專欄中會有專門的文章進行這方面的探討。
備注：
點擊閱讀原文，關注作者知乎。
展開 如何閉環自動駕駛仿真場景，實現從“重建”到“可用”？
（2）2D 語義分割：針對圖像數據做語義分割，輸出分割標注，輔助 3D 場景的細節優化。
（3）相機位姿優化：校準、優化傳感器采集的位姿數據，確保 3D 重建時空間坐標的準確性，輸出精準位姿信息。
3、3DGS 場景重建
基于預處理后的 “干凈數據”，aiSim 啟動神經網絡重建流程：融合 NeRF 的幾何泛化能力與 3DGS 的實時渲染特性，構建跨模態信息傳遞機制（T-S 結構）—— 將 NeRF 學習的深度、法線、外觀等監督信號，通過多模態數據協同訓練（引入 LiDAR 深度約束），遷移至 3DGS 的高斯參數優化中。最終，離散點云與圖像數據被轉化為連續的 3D 高斯場景表示，實現 “真實場景→數字孿生” 的高效映射。
在這個關鍵環節中，T-S 結構發揮著核心橋梁作用，它使 NeRF 在處理圖像數據時所學習到的深度、法線及外觀等關鍵監督信號，能夠順暢地傳遞至 3DGS 模型中。同時，引入 LiDAR 深度約束，進一步提升了幾何建模的精準度。LiDAR 所獲取的精確深度信息，作為一種強約束條件，參與到多模態數據的協同訓練過程中，幫助 3DGS 更準確地優化高斯點的位置、協方差矩陣等參數，從而構建出與真實場景高度契合的 3D 高斯場景。
經過這一系列處理流程，原本離散、無序的點云與圖像數據，被成功轉化為連續、逼真的 3D 高斯場景表示，實現了從現實世界到數字孿生世界的高效、精準映射，為后續的場景編輯與仿真應用提供了優質的基礎場景。
為驗證重建場景的一致性，aiSim 引入 DEVIANT 算法與 Mask2Former 算法形成雙重校驗。其中 DEVIANT 算法聚焦幾何精度。通過模擬單目 3D 目標檢測邏輯，對重建場景中車輛、行人等目標的深度、位置、尺寸進行校驗。
展開 ANSYS SPEOS & VRXPERIENCE-基于物理特性的智能駕駛傳感器高精度仿真
仿真環境提供常用材料屬性庫，也支持通過ANSYS的OMS硬件設備，對用戶所需仿真的場景材料進行測量，并將所得材料表面光學屬性BSDF函數附在前述場景建模的所屬材質表面。
ANSYS VRXPERIENCE Headlamp：車燈路面光型仿真模塊，可以導入SPEOS計算獲得的光分布結果，結合3D場景，對環境的光強分布進行仿真，提供豐富的色度、光度學分析工具，包含等照度線、等照度區域等信息，并通過光強分布IES文件和光譜Spectrum文件對自然光源、路燈光源等進行定義，為夜間環境智能駕駛系統仿真提供高精度的環境模型。
ANSYS VRXPERIENCE Headlamp
ANSYS VRXPERIENCE Driving Simulator：動態駕駛模擬解決方案，可以仿真實時場景、車輛以及交通環境，支持道路、車輛的創建和編輯，提供閉環仿真運行的平臺，結合Headlamp和Sensor，可以針對夜間場景、需要考慮傳感器物理特性影響的場景、需要對感知系統性能進行驗證的場景，提供全數字、半實物的驗證環境。
ANSYS VRXPERIENCE Driving Simulator
應用案例
? 日本某供應商，需要進行ADAS傳感器分析，希望采用真車多次重復測試的方式保證系統質量，技術和項目進度均不能滿足要求。借助于ANSYS SPEOS & VRXPERIENCE，通過建立復雜的場景，并結合基于物理特性的攝像頭和激光雷達模型，對傳感系統進行多次測試，降低了項目周期和費用。
ADAS傳感器分析-日本某供應商
? 美國某OEM，在L2、L3的功能安全分析中，需要綜合考慮傳感器位置和性能，并進行傳感器數據融合測試，“視景系統+動力學+控制聯合仿真”方案無法滿足技術和項目周期需求。
展開 
通用與Uber開源自動駕駛可視化軟件 鼓勵更多應用開發
在一篇博客文章中，Cruise介紹了旗下的2D、3D場景圖形庫Worldview。Cruise表示，我們希望Worldview可以降低進入WebGL強大世界的門檻，為WEB開發者提供一個簡單的基平臺，賦予他們更強大的能力，開發更復雜的視覺應用。
Worldview提供2D和3D攝像機、鼠標和鍵盤移動控制、單擊交互以及一套內置的繪圖命令。現在我們的工程師可以輕松地構建自定義可視化，而不必學習復雜的圖形APP或編寫包裝器來讓它們與React一起工作。
Uber開放的新工具Autonomous Visualization System（AVS）主要針對自動駕駛運營商，這是一個基于WEB的定制平臺，自動駕駛開發者可以通過平臺將自己的車輛數據轉化為能夠輕松理解的視覺呈現，知道汽車在現實世界看到了什么。
隨著自動駕駛汽車在公共道路上行駛的里程越來越多，更有必要對某些極端情況進行隔離，以幫助運營商理解為什么他們的汽車會做出某些決定。該可視化系統可以讓工程師分解和回放特定的行程段，以便進行更仔細的檢查。
展開 特斯拉與毫末智行自動駕駛方案對比分析
Tesla的做法是利用來自多個攝像頭的圖像重建3D場景，并在3D場景下進行標注。標注者只需要在3D場景中進行一次標注，就可以實時的看到標注結果在各個圖像中的映射，從而進行相應的調整。
3D空間中的標注
人工標注只是整個標注系統的一部分，為了更快更好的獲得標注，
還需要借助自動標注和模擬器
。自動標注系統首先基于單攝像頭的圖像生成標注結果，然后通過各種空間和時間的線索將這些結果整合起來。形象來說就是各個攝像頭湊在一起討論出一個一致的標注結果。除了多個攝像頭的配合，在路上行駛的多臺Tesla車輛也可以對同一個場景的標注進行融合改進。當然這里還需要GPS和IMU傳感器來獲得車輛的位置和姿態，從而將不同車輛的輸出結果進行空間對齊。自動標注可以解決標注的效率問題，但是對于一些罕見的場景，比如報告中所演示的在高速公路上奔跑的行人，還需要借助模擬器來生成虛擬數據。以上所有這些技術組合起來，才構成了Tesla完整的數據收集和標注系統。
毫末智行的視覺+激光雷達方案
幾乎是在同期，毫末智行也提出將Transformer引入到其數據智能體系MANA中，并逐步應用到實際的道路感知問題，比如障礙物檢測、車道線檢測、可行駛區域分割、交通標志檢測等等。從這一點上就可以看出，量產車企在有了超大數據集作為支撐以后，其技術路線的趨同性。在自動駕駛技術百花齊放的時代，選擇一條正確的賽道，確立自身技術的優勢，無論對于特斯拉還是毫末智行來說都是極其重要的。
在自動駕駛技術的發展中，一直就對采用何種傳感器存在爭論。目前爭論的焦點在于是走純視覺路線還是激光雷達路線。根據第一性原則，特斯拉采用純視覺方案，這也是基于其百萬量級的車隊和百億公里級別的真實路況數據做出的選擇。
展開 智能駕駛仿真測試解決方案
同時經緯恒潤提供地圖檢驗服務，指導圖商進行地圖問題改良
可實現的場景的要素:交通標識與設施、植物、城鎮建筑、鄉村建筑、城市建筑、導流線、高速路出入口、交通燈、隧道、橋梁、路燈、護欄、停車位、施工設施與標識、隔音欄、雪天道路建筑模型等
支持復雜路網結構:三岔路口、十字路口、立交橋、多車道，具備典型的 3D 場景封裝模塊，包含 3D 場景和道路，并支持基于 3D 場景封裝模塊的拼接處理，實現基于場景模塊的排列組合快速生成大范圍場景
?
交通仿真
支持仿真過程中實時創建/刪除不同類型的交通物體，包括車輛、行人、動物等，并支持定義其運行狀態
可以自定義每個交通物體的駕駛行為，包括路徑規劃、速度控制、換道等，交通仿真基于時間和事件的觸發框架開發，支持初始化配置和仿真運行中的實時配置，支持位置觸發、相對位置觸發、時間觸發、條件觸發等
可以生成符合交通規則的隨機交通流，無需借助第三方軟件
?
環境仿真
可以模擬晴天、多云、陰天、雨、雪、霧等天氣，并支持天氣的實時配置
支持不同時間的實時動態陰影，并可支持太陽隨時間自由運動的效果模擬和實時陰影變化
支持路燈、車燈光源仿真、反光效果、濕滑路面反光效果
支持圖像原始RGB數據直接輸出，用于圖像處理算法的開發和驗證
?
復雜車輛動力學仿真軟件
29自由度車輛動力學模型，包含車身、3D空氣動力學、懸架系統、轉向系統、制動系統、動力傳動系統、輪胎等模型
支持制動、轉向、懸架系統控制器在環測試
支持Windows模式、Simulink模式、HIL模式（支持Concurrent、NI 平臺、QNX平臺）
展開 如何在 3D 環境中仿真自動駕駛汽車
場景創建
第一步是創建一個由車輛，賽道和錐桶組成的3D仿真環境。Vehicle Dynamics Blockset（
https://ww2.mathworks.cn/products/vehicle-dynamics.html
） 工具箱帶有預建的 3D 場景，以仿真和可視化Simulink中建模的車輛。這些 3D 場景是使用 Epic Games 的虛幻引擎可視化的。
由于當前問題需要自定義場景，因此我們使用了虛幻編輯器和用于虛幻4引擎工程的 Vehicle Dynamics Blockset 支持包來構建場景。
要了解如何自定義場景（圖2），請按照文檔中說明的步驟進行操作。當然，您也可以使用 RoadRunner 設計 3D 場景以進行自動駕駛的仿真。
圖1. 虛幻編輯器中的自定義場景
圖2. 創建自定義場景的步驟
第一圈：環境建圖
圖3.用于環境建圖的 Simulink 模型
下一個任務是環境建圖。如上一節所述，無人駕駛車輛處于未知環境中，該環境由放置在賽道兩側的錐桶組成。為了檢測錐桶并為第一圈生成參考路徑，我們建立了 Simulink 模型，如圖3所示。圖4顯示了該模型在第一圈中執行的步驟：
圖4. 環境建圖的框圖表達
· 激光雷達安裝
：激光雷達的目的是測量車輛到錐桶的距離。在 3D 仿真環境中，Simulation 3D Lidar（
https://ww2.mathworks.cn/help/driving/ref/simulation3dlidar.html
）模塊提供了激光雷達傳感器。使用 Epic Games 的虛幻引擎渲染環境， 該模塊返回具有指定視場和角分辨率的點云。
展開 