神經輻射場的案例
Light | 呼之欲出: 裸眼3D時代終要到來
圖3：（a）三維投影拍攝結果展示，相較前期工作，本文改善了前景背景邊界的失真，實現了更逼真的景深效果，（b）神經網絡同時實現全息投影像差矯正
研究結果顯示，該方法能夠穩健地處理非完美深度圖的真實采集輸入，且通過用戶閉環(user-in-the-loop)校準數據集，可以實現端到端生成光學像差矯正后的三維投影，已達到去除用戶佩戴矯正眼鏡的需求。
視頻1：基于神經輻射場（NeRF）輸出的RGB-D所計算拍攝的三維全息投影
本研究的開展，解決了兩大類傳統算法各自的痛點，提供了基于神經網絡的計算全息圖渲染訓練新思路以及更適合的三維輸入表征。該方法的穩健性使得由神經輻射場(NeRF)重建的帶有不完美深度圖的三維場景也能夠被轉化高質量的計算全息圖，從而極大地減小了真實采集輸入的獲取難度。此外針對像差修正的集成為計算全息在輕量級、可穿戴的便攜式全息近眼顯示的實現提供了技術可行性支持。
論文信息
Shi, L., Li, B. & Matusik, W. End-to-end learning of 3D phase-only holograms for holographic display. Light Sci Appl 11, 247 (2022).
https://doi.org/10.1038/s41377-022-00894-6
文章來源：中國光學
免責聲明：本文系網絡轉載，版權歸原作者所有。如涉及版權，請聯系刪除！
展開 圖文轉成3D模型！OpenAI 發布Shap-E開源模型
傳統的模型只能生成單一的輸出表達形式，但Shap·E 可以生成隱式函數的參數，這些函數可以作為紋理網格或神經輻射場(NeRF) 進行渲染，從而實現多樣化和逼真的3D 圖像生成。Shap·E 采用了隱式神經表示(INRs) 來編碼3D 圖像，提供了一個靈活且高效的框架，能夠捕捉到3D 圖像的詳細幾何特征。
使用AI 生成3D 模型是想當困難的，因為3D 模型可以是非常復雜，具有大量的細節和紋理。因此，需要處理大量的數據和計算來生成這些模型，這需要強大的計算機和算法支持。同時需要精確測量和處理大量的數據，包括幾何形狀、尺寸、紋理、顏色等等。因此，算法必須具有高度的精度和準確性，以確保生成的3D 模型符合預期。
Shap-E 的訓練包括先將編碼器用來將3D 圖像轉換成隱式函數參數，再用有條件擴散模型進行訓練，從而生成多樣且復雜的3D 圖像。與Point-E 模型相比，Shap-E 在更高維度和多重表示輸出空間的情況下，顯示出更快的修正速度和相當或更好的樣本質量。
與Point-E的對比
OpenAI去年發表的Point-E是據文字提示產生3D點狀云，而新發布的Shap-E可以將文字或圖片轉成3D圖形的Shap-E模型。輸出文件可以在微軟小畫家3D（Paint 3D）中打開，甚至能夠轉成用于3D打印機的STL文件。此外，Shap-E相較去年發表的Point-E，能夠提供更好的3D圖像，產出效率更高。
OpenAI所開發的Shap-E 3D模型，是直接建立出物體的輪廓，并采用神經輻射場（Neural Radiance Fields，NeRF）的功能，克服了初期模型的模糊性。NeRF與VR、AR使用的技術相同，可使3D場景視覺上更有臨場真實。
展開 哪里可以測試傳導輻射現場測試 24小時EMC租場測試
實驗室介紹：
開放式測試場 (Radiated Test)
半電波暗室 (EMI Pretest)
電波隔離室 (Conducted / Power Clamp Test)
磁場輻射測試室 (lighting devices Test)
超低頻輻射測試室 (LR/TCO Test)
電磁干擾修改室 (EMI Debug)
電磁耐受修改室 (RS Debug)
全電波暗室 (RS Test)
靜電放電測試室 (ESD Test)
雷擊測試室 (Surge Test)
傳導耐受測試室 (CS Test)
性快速脈沖&電源諧波&電壓變動&磁場耐受測試室
展開 康謀分享 | aiSim5基于生成式AI擴大仿真測試范圍（終）
一、NeRF
1、神經輻射場（Neural Radiance Fields）
NeRF是將三維空間中的每個點的顏色和密度信息編碼為一個連續的函數并由MLP參數化。給定一個視角和三維空間中的點，NeRF可以預測該點的顏色和沿視線方向的密度分布。通過對這些信息進行體積渲染，NeRF能夠合成出新視角下的圖像。
2、優勢
高保真輸出。
基于NerFStudio提供了較為友好地代碼庫。
相對較快的訓練時間。
對于待重建區域具有可擴展性。
3、不足及主要挑戰
渲染速度緩慢。NeRF需要沿著從相機到場景的每條光線進行大量的采樣和計算，以準確估計場景的體積密度和顏色。這個過程計算密集，在NVIDIA A100上進行了測試，全HD分辨率下，渲染一張圖像大約需要10s。
場景深度估計效果不理想。NeRF通過體積渲染隱式地學習了場景的深度信息，但這種深度信息通常是與場景的顏色和密度信息耦合在一起的。這意味著，如果場景中存在遮擋或非朗伯（non-Lambertian）反射等復雜情況，NeRF可能難以準確估計每個像素的深度。
近距離物體重建質量可能較低。這可能是由視角和分辨率不足、深度估計不夠準確以及運動模糊遮擋等問題造成的。
高FOV相機校準不完善導致的重影偽影。
當然為了解決這些問題研究人員通過引入深度正則化來提升NeRF深度估計的準確性和穩定性，通過優化NeRF的結構和算法提升渲染速度。
二、3DGS
1、3D高斯潑濺（3D Gaussian Splatting）
3DGS采用三維高斯分布來表示場景中的點云數據，每個點用一個具有均值和協方差的高斯函數來描述。
展開 
如何閉環自動駕駛仿真場景，實現從“重建”到“可用”？
對比傳統的神經輻射場（NeRF）方法，3DGS 凸顯優勢。NeRF 雖能構建出具有高度真實感的連續、立體場景，實現空間坐標到圖像色彩及密度的直接映射，但計算強度極高，單一場景構建往往需要投入大量的算力資源與時間成本，尤其是在追求高分辨率輸出時，這一問題更為突出。
此外，NeRF 的可編輯性較差，單一場景的任何編輯都意味著要重新訓練整個流程。而 3DGS 通過顯式建模方法，巧妙避開了傳統神經網絡訓練中繁重的計算開銷，訓練速度大幅提升，渲染效率更高 。同時，3D 高斯點能夠捕捉場景中的每一處細節，實現高精度的三維重建，并且支持實時渲染。
然而，3DGS 并非十全十美。在面對極為復雜的三維場景時，為了精準還原每一處細節，可能需要海量的高斯點，這無疑會顯著增加計算負擔與內存消耗。并且，當前 3DGS 的應用主要集中于靜態場景的重建，如何高效且精準地處理動態場景中的物體變化，使其能夠實時、準確地反映動態物體的位置、形狀及運動軌跡等信息，仍然是擺在科研人員與工程師面前的一道技術難題。
三、基于 aiSim 的 3DGS 方案全流程
1、原始數據輸入與標準化
以多源傳感器采集為起點，通過相機、激光雷達、自車運動傳感器捕獲真實道路的圖像、點云、位姿數據。針對這些數據格式、精度、時間戳異構的問題，aiData 工具鏈通過標準化算法將第三方數據轉換為統一格式，從而確保點云、圖像、標定信息協同工作，確保后續處理工作正確運行。
2、3D 場景預處理
（1）3D 自動標注：在 aiData 工具鏈里，3D 自動標注依托多模態數據與算法流程實現。
展開 探討如何構建端到端高置信度驗證體系？
神經輻射場（NeRF）/高斯濺射（GS）技術的應用與驗證：NeRF/GS等神經渲染技術能夠從多視角圖像中重建出高逼真的三維場景，極大地提升了場景的真實感和重建效率[2]。但其置信度同樣需要嚴格驗證：
精度評估：通過與高精度激光掃描儀采集的地面真實點云進行對比，評估NeRF/GS重建場景的幾何精度（點云RMSE）[3].
對齊方法：將重建場景與車載高精地圖（HD Map）進行坐標對齊，確保語義元素（車道線、交通標志）位置一致。
驗證流程：在重建場景的虛擬相機位姿下，渲染圖像并與拍攝的真實照片進行光照一致性對比，使用PSNR、SSIM等圖像質量指標進行量化評估。同時，驗證其在多模態傳感器（相機+LiDAR）下的一致性。
3、動態場景還原偏差
動態場景的挑戰在于時空四維的精確復現，誤差來源更加復雜，涉及數據采集、軌跡重建和行為建模等多個環節。
（1）動力學誤差來源
車輛動力學建模偏差：仿真中的車輛行為不僅依賴于軌跡，還依賴于動力學模型的響應 [4] 。簡化的動力學模型（如點質量模型）無法準確復現輪胎滑移、懸掛運動等特性，導致在極限工況（如緊急避障）下，車輛的加速度、橫擺角速度響應與真實車輛不符，使得TTC（碰撞時間）、制動距離等關鍵安全指標失信。
（2）交通流與交互行為失真
軌跡重建誤差：從真實路采數據中提取的交通參與者軌跡，其精度受限于定位系統的漂移（如GPS/IMU融合誤差）、感知算法的檢測與跟蹤誤差、以及數據采樣頻率不足。低頻或帶噪的軌跡會導致關鍵交互（如切入、剎車）的時序失真。
微觀交互行為失真：在閉環測試中，簡單的回放軌跡無法復現真實交通中智能體之間的雙向互動。例如，仿真中一輛Exo按照預設軌跡切入，Ego即使做出避讓，該Exo也不會像真人駕駛員一樣做出二次反應。
展開 