3D高斯?jié)姙R
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2025-12-01
3D高斯?jié)姙R的實(shí)例教程
在本課程中，你將深入探索3D高斯?jié)姙R這一尖端神經(jīng)渲染技術(shù)，親手實(shí)踐每個(gè)環(huán)節(jié)：
- 解析COLMAP輸出以獲取相機(jī)姿態(tài)和稀疏重建結(jié)果
- 理解并實(shí)現(xiàn)作為場景表示的3D高斯基元
- 構(gòu)建可訓(xùn)練的神經(jīng)渲染流水線，建模視角相關(guān)輻射
- 編寫高斯?jié)姙R的訓(xùn)練循環(huán)與優(yōu)化策略
- 創(chuàng)建實(shí)時(shí)可微分渲染器，生成照片級真實(shí)感圖像
- 探索復(fù)雜3D數(shù)據(jù)的可視化技術(shù)
本課程非常適合以下人群：
- 希望深入理解3D高斯?jié)姙R算法細(xì)節(jié)的研究人員、研究生和開發(fā)者
- 對神經(jīng)渲染感興趣，或希望從零實(shí)現(xiàn)高級3D視覺技術(shù)的Python/PyTorch開發(fā)者
- 希望避開CUDA密集型代碼庫，轉(zhuǎn)而構(gòu)建清晰、可修改的實(shí)驗(yàn)流水線的人士
- 在計(jì)算機(jī)視覺、圖形學(xué)或AI領(lǐng)域工作，希望探索或擴(kuò)展3DGS方法用于研究或原型開發(fā)的個(gè)體
- 熟悉NeRF或類似方法，希望了解3DGS如何與之比較以及為何在速度和質(zhì)量上表現(xiàn)更優(yōu)的學(xué)習(xí)者
你需要具備：
- Python編程技能
- 熟悉PyTorch和NumPy
課程結(jié)束時(shí)，你將擁有一個(gè)完整可運(yùn)行的3D高斯?jié)姙R實(shí)現(xiàn)，可用于修改、擴(kuò)展，并作為你自己研究或項(xiàng)目的基礎(chǔ)。
展開 然而，實(shí)現(xiàn)閉環(huán)評估需要一個(gè)能夠準(zhǔn)確代表真實(shí)世界場景的3D環(huán)境。雖然這些3D環(huán)境可以由3D設(shè)計(jì)工程師手工構(gòu)建，但這種方案很難解決Sim2Real的差距并且在可擴(kuò)展方面存在一定的局限性。為此，本文為您介紹神經(jīng)重建如何打破限制，在自動(dòng)駕駛模擬中的具體應(yīng)用。</p><h2>一、神經(jīng)渲染——彌合差距</h2><p>神經(jīng)渲染可以利用深度學(xué)習(xí)技術(shù)來緩解這個(gè)問題，它可以從一個(gè)新的視角上逼真地渲染靜態(tài)（和動(dòng)態(tài)）環(huán)境。當(dāng)然這種方法也存在一定的優(yōu)劣點(diǎn)：</p><h3>1、優(yōu)點(diǎn)：</h3><p>（1）高保真的仿真質(zhì)量：神經(jīng)渲染可以產(chǎn)生幾乎和現(xiàn)實(shí)無異的場景，增強(qiáng)現(xiàn)實(shí)感。</p><p>（2）數(shù)據(jù)驅(qū)動(dòng)和可擴(kuò)展：這種方法具有可擴(kuò)展性，使其適用于實(shí)時(shí)應(yīng)用（如3D高斯?jié)姙R）。</p><h3>2、缺點(diǎn)：</h3><p>（1）分布外的對象：神經(jīng)渲染很難將分布外（即以前未見過的）的對象插入 3D 環(huán)境中。</p><p>（2）偽影對動(dòng)態(tài)物體的影響：偽影可能會(huì)影響動(dòng)態(tài)物體的外觀。</p><p>（3）幾何不一致：在深度預(yù)測中，可能會(huì)出現(xiàn)幾何不一致。</p><h2>二、現(xiàn)有生成模型的挑戰(zhàn)</h2><p>目前的生成模型能夠創(chuàng)建高度逼真的圖像和視頻，但它們在幾個(gè)方面存在不足，例如:</p><p>（1）僅 2D 信息：這些模型不提供 3D 信息，僅在 2D 圖像空間中操作。</p><p>（2）射影幾何的空白：更多內(nèi)容請參見https://arxiv.org/abs/2311.17138</p><p>（3）有限的傳感器模態(tài):這些模型不能用于生成其他傳感器模態(tài)(例如，激光雷達(dá))。</p><p>總之，當(dāng)前的生成模型不適合汽車級驗(yàn)證。</p><h2>三、康謀混合解決方案：集成式神經(jīng)重建</h2><p>為了解決這些限制，aiSim5提供了一種混合方案。
展開 二、3DGS
1、3D高斯?jié)姙R（3D Gaussian Splatting）
3DGS采用三維高斯分布來表示場景中的點(diǎn)云數(shù)據(jù)，每個(gè)點(diǎn)用一個(gè)具有均值和協(xié)方差的高斯函數(shù)來描述。通過光柵化渲染高斯函數(shù)，從而生成逼真的3D場景圖像。
2、優(yōu)勢
優(yōu)勢訓(xùn)練時(shí)間短。
近似于實(shí)時(shí)的渲染。
提供高保真的輸出。
3、不足及主要挑戰(zhàn)
代碼庫友好度較低。相比于NeRFStudio，文檔的完善程度和易用性較低。
初始點(diǎn)云獲取需求高，需要精確的傳感器和復(fù)雜的數(shù)據(jù)處理流程，否則將會(huì)對3DGS的性能產(chǎn)生明顯的影響。
深度估計(jì)同樣不足，主要可能有幾個(gè)原因：在優(yōu)化過程中傾向于獨(dú)立優(yōu)化每個(gè)高斯點(diǎn)，導(dǎo)致在少量圖像下出現(xiàn)過擬合；由于缺乏全局的幾何信息，導(dǎo)致在大型場景下或復(fù)雜幾何結(jié)構(gòu)重建時(shí)深度估計(jì)不準(zhǔn)確；初始點(diǎn)云的深度信息不夠準(zhǔn)確等。
相機(jī)模型支持受限。目前3DGS主要支持針孔相機(jī)模型，雖然理論上可以推導(dǎo)出其他相機(jī)模型的3DGS版本，但還需要后續(xù)的實(shí)驗(yàn)驗(yàn)證其有效性和準(zhǔn)確性。
重建區(qū)域可擴(kuò)展受限，主要是缺乏LiDAR覆蓋區(qū)域之外的幾何信息導(dǎo)致的不完整重建以及大型城市場景重建的大量計(jì)算。
集成和資源密集的挑戰(zhàn)，目前3DGS集成通常依賴Python接口；3DGS在運(yùn)行時(shí)可能會(huì)占用大量的VRAM。
通過優(yōu)化超參數(shù)和采用新方法，如Scaffold-GS，可能有助于減少內(nèi)存需求，提高在大型場景下的處理能力。
展開 回顧2025年，兩大仿真新技術(shù)快速走進(jìn)公眾視野，分別是世界模型（World Model）與3DGS（3D Gaussian Splatting，3D高斯?jié)姙R）。
關(guān)于世界模型，此前也寫了挺多科普文章，甚至發(fā)布了一些視頻效果，感興趣的小伙伴可以去搜了看看，本文就不展開了。
而關(guān)于3DGS，我則一直覺得很神秘，因此特地做了一些探索，甚至申請到了商用軟件來試用，因此本文就3DGS怎么嵌入到自動(dòng)駕駛仿真流程中，做一些膚淺的探索。
一、3DGS與世界模型的路線差異
3DGS和世界模型，聽起來都很“高大上”。
雖然都是在做仿真，但在我看來是兩種截然不同的技術(shù)路線。本文不談公式和理論，我們盡量用通俗的語言快速理解其核心邏輯。
一句話總結(jié)世界模型：AI 構(gòu)建的數(shù)字世界模擬器，復(fù)刻現(xiàn)實(shí)規(guī)律，能推演事件發(fā)展與結(jié)果。例如，向世界模型輸入一段視頻、圖片或文字描述，它就能自動(dòng)生成后續(xù)連貫的視頻內(nèi)容。
一句話總結(jié)3DGS：這是一種基于點(diǎn)云優(yōu)化的3D高斯分布表征技術(shù)，可實(shí)現(xiàn)高保真動(dòng)態(tài)三維場景的快速渲染。簡單來說，它是一種革新性的三維建模技術(shù)——使用者只需手持掃描設(shè)備對目標(biāo)物體或場景掃描一圈，就能直接生成對應(yīng)的三維模型（過程如下圖所示）。這種模型的細(xì)節(jié)紋理與真實(shí)世界高度貼合，使得整個(gè)仿真過程兼具高效性與逼真度，對傳統(tǒng)三維建模技術(shù)形成了降維打擊。
圖片來源：視頻號-扎克力
所以，你看出來了嗎？3DGS與世界模型屬于兩條截然不同的技術(shù)路線。
3DGS是在傳統(tǒng)仿真技術(shù)的基礎(chǔ)上，對三維建模環(huán)節(jié)進(jìn)行革新，屬于“老樹開新花”的迭代升級；
世界模型則走的是AIGC技術(shù)路線，通過直接生成所需仿真數(shù)據(jù)，完全跳過三維建模步驟，屬于“大力出奇跡”的顛覆式創(chuàng)新。
前者，我愿稱之為基于規(guī)則的仿真，rule-based simulation。
展開 這是由于傳統(tǒng)3D場景重建技術(shù)在面對復(fù)雜環(huán)境時(shí)常常力不從心：要么把雪花當(dāng)成場景的一部分輸入進(jìn)模型，要么在光照變化時(shí)直接失效。
近年來，3D高斯?jié)姙R（3D Gaussian Splatting, 3DGS）技術(shù)的崛起，為這一困境帶來了革命性轉(zhuǎn)機(jī)。該技術(shù)不僅實(shí)現(xiàn)了近乎實(shí)時(shí)的逼真場景渲染，更在動(dòng)態(tài)天氣建模、光照變化處理等關(guān)鍵領(lǐng)域取得突破性進(jìn)展，正在重新定義自動(dòng)駕駛仿真系統(tǒng)的能力邊界。
本文將系統(tǒng)梳理3DGS從靜態(tài)重建到動(dòng)態(tài)環(huán)境建模的技術(shù)演進(jìn)，并探討其在自動(dòng)駕駛仿真中的實(shí)踐應(yīng)用。
二、靜態(tài)重建到動(dòng)態(tài)環(huán)境的技術(shù)演進(jìn)
1、3DGS的核心機(jī)制與局限
3DGS用數(shù)百萬個(gè)3D高斯橢球體來表示場景，每個(gè)高斯體攜帶位置、協(xié)方差、不透明度和顏色信息。渲染時(shí)按深度排序投影到2D平面，通過alpha混合生成最終圖像。相比NeRF需要對每個(gè)像素進(jìn)行耗時(shí)的體積渲染，3DGS的光柵化過程能充分利用GPU并行計(jì)算，實(shí)現(xiàn)實(shí)時(shí)渲染。
但原始3DGS有個(gè)致命缺陷：它假設(shè)場景靜態(tài)、光照恒定。這在博物館文物掃描中沒問題，但放到真實(shí)世界就行不通了。雪天拍攝的街景會(huì)把空中飄落的雪花、鏡頭上的水滴都當(dāng)作場景固有特征學(xué)習(xí)進(jìn)去，導(dǎo)致重建出的場景永遠(yuǎn)"下著雪"。
2、天氣環(huán)境重建
真實(shí)世界的天氣環(huán)境重建需要攻克三個(gè)核心難題：天氣偽影的分離去除、動(dòng)態(tài)天氣效果的逼真生成，以及移動(dòng)光源下的場景重建。
展開 
3D高斯?jié)姙R的相關(guān)專題、標(biāo)簽、搜索
3D高斯?jié)姙R的最新內(nèi)容
視覺重建到物理仿真，3DGS如何走向工程應(yīng)用？2個(gè)月前
文章中，我們系統(tǒng)梳理了3D高斯?jié)姙R（3DGS）如何突破靜態(tài)重建的局限，實(shí)現(xiàn)對動(dòng)態(tài)天氣、移動(dòng)光源等復(fù)雜環(huán)境因素的建模與仿真。這標(biāo)志著3DGS已不再僅僅是“高保真場景重建工具”，而開始具備承載真實(shí)世界多變性的潛力。
然而，一個(gè)能夠以假亂真的視覺場景，對于自動(dòng)駕駛仿真、數(shù)字孿生等工業(yè)應(yīng)用而言，仍然只是起點(diǎn)。仿真系統(tǒng)的真正價(jià)值，在于提供一個(gè)“可交互、可驗(yàn)證、可推演”的數(shù)字環(huán)境。
近年來，3D高斯?jié)姙R（3D Gaussian Splatting, 3DGS）技術(shù)的崛起，為這一困境帶來了革命性轉(zhuǎn)機(jī)。該技術(shù)不僅實(shí)現(xiàn)了近乎實(shí)時(shí)的逼真場景渲染，更在動(dòng)態(tài)天氣建模、光照變化處理等關(guān)鍵領(lǐng)域取得突破性進(jìn)展，正在重新定義自動(dòng)駕駛仿真系統(tǒng)的能力邊界。
本文將系統(tǒng)梳理3DGS從靜態(tài)重建到動(dòng)態(tài)環(huán)境建模的技術(shù)演進(jìn)，并探討其在自動(dòng)駕駛仿真中的實(shí)踐應(yīng)用。
回顧2025年，兩大仿真新技術(shù)快速走進(jìn)公眾視野，分別是世界模型（World Model）與3DGS（3D Gaussian Splatting，3D高斯?jié)姙R）。
關(guān)于世界模型，此前也寫了挺多科普文章，甚至發(fā)布了一些視頻效果，感興趣的小伙伴可以去搜了看看，本文就不展開了。
高斯?jié)姙R（3DGS）流水線，解鎖這項(xiàng)前沿神經(jīng)渲染技術(shù)的全部潛力——無需CUDA，無需依賴復(fù)雜庫，只需清晰、模塊化且適合研究的代碼。
</p><p>（2）數(shù)據(jù)驅(qū)動(dòng)和可擴(kuò)展：這種方法具有可擴(kuò)展性，使其適用于實(shí)時(shí)應(yīng)用（如3D高斯?jié)姙R）。</p><h3>2、缺點(diǎn)：</h3><p>（1）分布外的對象：神經(jīng)渲染很難將分布外（即以前未見過的）的對象插入 3D 環(huán)境中。</p><p>（2）偽影對動(dòng)態(tài)物體的影響：偽影可能會(huì)影響動(dòng)態(tài)物體的外觀。</p><p>（3）幾何不一致：在深度預(yù)測中，可能會(huì)出現(xiàn)幾何不一致。
二、3DGS
1、3D高斯?jié)姙R（3D Gaussian Splatting）
3DGS采用三維高斯分布來表示場景中的點(diǎn)云數(shù)據(jù)，每個(gè)點(diǎn)用一個(gè)具有均值和協(xié)方差的高斯函數(shù)來描述。通過光柵化渲染高斯函數(shù)，從而生成逼真的3D場景圖像。
2、優(yōu)勢
優(yōu)勢訓(xùn)練時(shí)間短。
近似于實(shí)時(shí)的渲染。
提供高保真的輸出。
Abaqus移動(dòng)加載高斯熱源子程序，適于焊接、3D打印領(lǐng)域，fortran編制的子程序見“付費(fèi)后”的附件中。
Abaqus高斯熱源3D打印熱力耦合模擬
