NeuroFluid: 流體仿真的人工智能新范式

仿真客

瀏覽：2785 評論：5 收藏：3

“

近日，上海交通大學人工智能研究院楊小康教授、王韞博助理教授指導的AI+Science研究團隊的成果《NeuroFluid: Fluid Dynamics Grounding with Particle-Driven Neural Radiance Fields》被國際頂級機器學習會議ICML 2022收錄。論文所提出的“神經(jīng)流體（NeuroFluid）”模型，利用基于神經(jīng)隱式場的人工智能可微渲染技術(shù)，將流體物理仿真看作求解流體場景三維渲染問題的逆問題——從流體場景的一段多視角表觀圖像中，即可反推出流體內(nèi)部的運動規(guī)律。這項成果為計算流體動力學、多粒子動力學系統(tǒng)研究開辟了一種人工智能新途徑。

論文鏈接:

arxiv.org/pdf/2203.01762.pdf

代碼地址:

github.com/syguan96/NeuroFluid

項目主頁:

syguan96.github.io/NeuroFluid/

● ● ● ● ● ● ●

圖1. NeuroFluid從流體的視覺觀測中反演其物理動態(tài)

流體運動研究是重要的自然科學基礎(chǔ)研究領(lǐng)域，在航空航天、大氣、海洋、航運、能源、建筑、環(huán)境等眾多領(lǐng)域有著廣泛應(yīng)用。在傳統(tǒng)研究方法中，求解流體運動（例如速度場）需要首先在理論上精確刻畫流體的動力學模型，并結(jié)合微分方程、數(shù)值分析對模型求解。但是通常對于復雜問題（例如湍流），人們很難用數(shù)學物理方程進行描述，復雜流體的Navier-Stokes方程是世界級千禧難題，至今依然沒被很好解決。現(xiàn)有基于深度學習的方法通常從拉格朗日視角描述流體，即流體被看作由許多粒子組成，通過測定和約束每個粒子的運動即可測定和改變流體的運動。但是大多數(shù)方法通常要求已知流體的物理屬性（例如粘性），并且需要粒子的運動信息（位置和速度）作為訓練數(shù)據(jù)，這在真實場景中幾乎不太可能。

針對流體力學模型難以刻畫和求解的問題，本文提出一種名為NeuroFluid的神經(jīng)網(wǎng)絡(luò)方法，實現(xiàn)流體動態(tài)反演（fluid dynamics grounding），即根據(jù)稀疏視角下對流體的2D表觀視覺觀察，推斷推流體內(nèi)在的3D物理運動狀態(tài)，例如粒子的速度和位置等。如圖2所示，NeuroFluid包含基于神經(jīng)網(wǎng)絡(luò)的流體粒子狀態(tài)轉(zhuǎn)移模型（Particle Transition Model）和由粒子驅(qū)動的神經(jīng)網(wǎng)絡(luò)渲染器（PhysNeRF），并將二者整合到一個端到端的聯(lián)合優(yōu)化框架中。優(yōu)化過程包含三個階段：

1. 模擬：粒子狀態(tài)轉(zhuǎn)移模型根據(jù)初始狀態(tài)（可用立體視覺方法粗估）預(yù)測流體粒子在后續(xù)時刻的運動軌跡；

2. 渲染：神經(jīng)網(wǎng)絡(luò)渲染器PhysNeRF（圖2右）根據(jù)粒子的幾何信息將模擬結(jié)果渲染成圖像；

3. 比對：渲染圖像和真實圖像比對，計算誤差，通過梯度反向傳遞優(yōu)化模型參數(shù)。

圖2. NeuroFluid的訓練過程（圖左）及PhysNeRF的渲染示意（圖右）

本文使用的流體數(shù)據(jù)（HoneyCone、WaterCube、WaterSphere）具有不同的物理屬性（如密度、粘度、顏色）或初始狀態(tài)（如流體粒子位置、整體形態(tài)）。

下列的實驗從粒子動態(tài)反演、未來狀態(tài)預(yù)測、新視角圖像渲染、PhysNeRF域外場景泛化，驗證了NeuroFluid的有效性。

實驗1：流體粒子動態(tài)反演

本實驗計算從圖像反演的粒子位置與真實粒子位置之間的距離誤差（Pred2GT distance），作為評價指標。圖3展示了NeuroFluid與流體粒子預(yù)測的有監(jiān)督方法DLF^[1]的數(shù)值結(jié)果對比，顯然，NeuroFluid從視頻中反演的流體粒子狀態(tài)比DLF（用粒子運動速度和位置作為訓練數(shù)據(jù)）更準確。圖4對模型的粒子狀態(tài)推斷結(jié)果做了可視化，注意到隨著時間的推移，NeuroFluid相比基線模型，其反演結(jié)果運動更加自然，能更好地匹配真實流體動態(tài)。

圖3. NeuroFluid（淺藍色）在三個測試集上關(guān)于流體粒子位置的反演結(jié)果，相比流體粒子仿真的有監(jiān)督模型DLF，NeuroFluid從圖像推理流體內(nèi)部狀態(tài)，明顯具有更好的準確性

圖4. NeuroFluid（第三行）在WaterCube場景中對流體粒子位置的推斷結(jié)果，圖中第一行為生成對應(yīng)觀測圖像序列時所使用的“真實”流體粒子位置

實驗2：流體未來狀態(tài)預(yù)測

在有效學習了流體的粒子狀態(tài)轉(zhuǎn)移模型后，可以很方便地實現(xiàn)預(yù)測流體在未來時刻的運動狀態(tài)。如圖5所示，本實驗評估未來十個時刻內(nèi)，模型預(yù)測的粒子位置與真實情況的誤差。結(jié)果表明，NeuroFluid能夠通過視覺觀測學習流體運動的規(guī)律，推演合理的流體未來動態(tài)。

圖5. 流體未來狀態(tài)預(yù)測誤差。其中，DLF*表示將基線模型在與測試場景物理屬性相近的數(shù)據(jù)上進行微調(diào)；DLF⁺表示將基線模型直接在測試場景上進行微調(diào)

實驗3：流體場景的新視角圖像渲染

為了驗證PhysNeRF渲染器的有效性，本實驗在新視角合成（novel view synthesis）的任務(wù)上，廣泛對比了各種基于神經(jīng)隱式場的可微渲染技術(shù)，包括NeRF^[2]，NeRT-T （即NeRF+Time Index）, D-NeRF^[3]和Li et al. (2022)^[4]等。如圖6所示，在輸入了粒子幾何信息的情況下，NeuroFluid的渲染結(jié)果不僅在動態(tài)上與目標結(jié)果的匹配度最高，而且可以更好地渲染出流體的細節(jié)（如濺起的水珠）。

圖6. 新視角合成結(jié)果對比，左起第一列為新視角下的目標圖像

實驗4: 域外場景泛化

PhysNeRF的基本假設(shè)是流體圖像渲染應(yīng)以粒子狀態(tài)為驅(qū)動，故而應(yīng)具有不同粒子分布下的強大泛化能力。為驗證其泛化能力，本實驗在使用有限的場景訓練好PhysNeRF渲染器后，在測試時改變了流體的初始形貌，如圖7所示，該幾何形狀為計算機圖形學經(jīng)典的Stanford Bunny。值得注意的是，在沒有用Stanford Bunny數(shù)據(jù)對模型進行訓練微調(diào)的情況下，PhysNeRF較為精細地渲染出了流體的表面細節(jié)。