幾何深度學(xué)習(xí)

1.什么是幾何深度學(xué)習(xí)？

幾何深度學(xué)習(xí)（GDL-Geometric Deep Learning）是從非歐幾里得數(shù)據(jù)類型中學(xué)習(xí)的一種神經(jīng)網(wǎng)絡(luò)方法。

歐幾里得數(shù)據(jù)包括圖像、文本、音頻等。

非歐幾里得數(shù)據(jù)可以比一維或二維表達(dá)更復(fù)雜的結(jié)構(gòu)，比如分子結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)，費(fèi)曼圖，宇宙圖等等。

非歐幾里得數(shù)據(jù)的本質(zhì)特征是缺乏全局統(tǒng)一的坐標(biāo)系和不規(guī)則的局部結(jié)構(gòu)，這導(dǎo)致傳統(tǒng)深度學(xué)習(xí)方法難以直接適用。

2

PhysicsAI 介紹

2.1 PhysicsAI 的原理

通過(guò)將網(wǎng)格點(diǎn)坐標(biāo)，節(jié)點(diǎn)連接關(guān)系和數(shù)值仿真結(jié)果（不限學(xué)科），如應(yīng)力，位移，壓力，溫度等物理量建立了內(nèi)在聯(lián)系，當(dāng)幾何形狀發(fā)生變化，訓(xùn)練好的模型可以快速的預(yù)測(cè)更新后的物理場(chǎng)值。

2.2 PhysicsAI 的三種算法

1.Graph Context Neural Simulator (GCNS) 基于圖神經(jīng)網(wǎng)絡(luò)。

用圖拉普拉斯矩陣實(shí)現(xiàn)卷積操作，假設(shè)鄰居權(quán)重均勻。采用“邊特征+節(jié)點(diǎn)特征”的聯(lián)合編碼，將網(wǎng)格邊的長(zhǎng)度、夾角等拓?fù)洳蛔兞孔鳛閳D卷積的輸入捕捉全局幾何結(jié)構(gòu)。

2. Transformer Neural Simulator (TNS) 基于自注意力機(jī)制的深度學(xué)習(xí)模型。

通過(guò)適配點(diǎn)云、網(wǎng)格等數(shù)據(jù)的空間特性（如相對(duì)坐標(biāo)編碼、稀疏注意力），其在捕捉長(zhǎng)距離依賴關(guān)系上的優(yōu)勢(shì)，能有效識(shí)別網(wǎng)格拓?fù)涞膹?fù)雜空間關(guān)系，同時(shí)兼顧全局結(jié)構(gòu)與局部細(xì)節(jié)。TNS 方法的優(yōu)勢(shì)是預(yù)測(cè)的云圖較為光順，且具有網(wǎng)格尺寸不變性。如所示的車身表面壓力云圖預(yù)測(cè)對(duì)比，TNS 方法在后視鏡殼體上的壓力梯度過(guò)渡捕捉較好。

3.Shape Encoding Regressor (SER) 基于形狀編碼解碼方法。

通過(guò)將非歐幾里得數(shù)據(jù)（如3D網(wǎng)格、點(diǎn)云、曲面等）通過(guò)編碼器映射到低維潛在空間，再通過(guò)解碼器重建或生成新的幾何形狀。 SER算法并不訓(xùn)練場(chǎng)值，僅從幾何形狀預(yù)測(cè) KPI 值或曲線，優(yōu)勢(shì)是訓(xùn)練成本低，可用于汽車概念設(shè)計(jì)初期，對(duì)空氣動(dòng)力學(xué)性能進(jìn)行快速評(píng)估。

PhysicsAI 的三種算法對(duì)比

Similarity Score：定義預(yù)測(cè)模型的相似度，

為訓(xùn)練集中2個(gè)參考樣本的差異度，d為待測(cè)模型和訓(xùn)練集最接近樣本點(diǎn)的差異度。

• Similarity Score=1表示待預(yù)測(cè)模型和訓(xùn)練集中的其中一個(gè)模型剛好一樣；
• Similarity Score=0表示待預(yù)測(cè)模型和訓(xùn)練集的最接近程度和訓(xùn)練集內(nèi)2個(gè)參考樣本的差異度一樣；
• Similarity Score<0表示待預(yù)測(cè)模型和訓(xùn)練集的任何一個(gè)模型相似度很低。預(yù)測(cè)結(jié)果非常不可靠。

MAE：Mean Absolute Error 平均絕對(duì)誤差，用于評(píng)估機(jī)器學(xué)習(xí)預(yù)測(cè)的精度。較低的 MAE 表明預(yù)測(cè)更準(zhǔn)確。

Transfer Learning：遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種策略，假設(shè)已經(jīng)基于車型A的訓(xùn)練集創(chuàng)建了深度模型，如將其直接用于預(yù)測(cè)車型B和車型C，可能會(huì)產(chǎn)生較大誤差。由于不同車型之間有些相似特征，例如A和B車型的前臉相似，A和C車型的車尾相似。可以通過(guò)增加樣本的方法，更新已有的模型，而無(wú)須從頭開始訓(xùn)練，并提高深度學(xué)習(xí)的泛化能力。

2.3 在 HyperMesh CFD 中使用 AI 工具

基本操作共分為4步：

1. 創(chuàng)建數(shù)據(jù)集；
2. 模型訓(xùn)練；
3. 模型測(cè)試；
4. 模型測(cè)試。

Decimate 工具可以批量的將 CFD 的仿真數(shù)據(jù)進(jìn)行網(wǎng)格粗化處理，目的是在保證場(chǎng)值數(shù)據(jù)質(zhì)量的前提下盡可能的減少訓(xùn)練參數(shù)。

2.4 PhysicsAI 的超參數(shù)

Epochs：訓(xùn)練輪次或迭代次數(shù)。模型在訓(xùn)練過(guò)程中，每次迭代會(huì)遍歷整個(gè)訓(xùn)練樣本。對(duì)于復(fù)雜模型預(yù)測(cè)，通常設(shè)置較大的數(shù)，例如1000~5000。

Batch Size：控制如何分批處理樣本數(shù)據(jù)。例如圖3，共6個(gè)訓(xùn)練樣本，Batch Size=2每次讀取2個(gè)樣本，每次迭代分3步遍歷整個(gè)樣本。Batch Size 越高訓(xùn)練越快，但是對(duì)內(nèi)存需求越大。

Early Stopping / Patience：如果模型在迭代幾步后沒(méi)有改進(jìn)，則提前停止訓(xùn)練。PhysicsAI 會(huì)采用中間某個(gè)最佳迭代步的數(shù)據(jù)（最低的Loss Curve），而非最后一步的迭代為最終的模型。

Learning Rate：訓(xùn)練中每次迭代的步長(zhǎng)，越大越快，但過(guò)大可能導(dǎo)致發(fā)散。一個(gè)好的 Learning Rate 應(yīng)該足夠大，可以快速收斂，但又不能太大，以至于優(yōu)化在收斂之前就卡住了。

Loss Curves：模型訓(xùn)練的均方差(Mean Square Error ,MSE）收斂曲線，用戶僅從曲線的絕對(duì)值很難判斷是否達(dá)到了最優(yōu)的效果，但是可以從收斂曲線的形態(tài)基本判斷出常見的問(wèn)題。例如：

• 過(guò)擬合(Over fit)，Validation Loss曲線出現(xiàn)在Training Loss 之上，揭示了模型對(duì)于訓(xùn)練集合以外的未知樣本預(yù)測(cè)效果差。數(shù)據(jù)量過(guò)少時(shí)，模型無(wú)法捕捉真實(shí)分布，被迫學(xué)習(xí)局部噪聲；
• 欠擬合(Under fit)，Validation Loss曲線出現(xiàn)在Training Loss 之下，揭示了模型訓(xùn)練不足，可能是驗(yàn)證數(shù)據(jù)集并未進(jìn)行調(diào)整以反映設(shè)計(jì)空間的情況，或者是提取的幾何特征與目標(biāo)變量關(guān)聯(lián)性弱；
• 最佳擬合(Best fit): 兩條收斂曲線幾乎重合，揭示了模型無(wú)論在訓(xùn)練集還是驗(yàn)證集上的預(yù)測(cè)效果都很好；
• 曲線振蕩，可能是 Learning Rate 設(shè)置過(guò)大，有時(shí)候可通過(guò)減少 Batch Size 改善；
• 曲線發(fā)散，這種情況通常是訓(xùn)練樣本中存在離群值(Outlier), 或者是訓(xùn)練樣本差異過(guò)大，無(wú)法有效擬合。

寬度和深度 Width and Depth：寬度控制 PhysicsAI 可以看到的細(xì)節(jié)。深度控制AI程序一次可以看到多少數(shù)據(jù)量。

模型的訓(xùn)練時(shí)間基本符合如下公式：

Width 和 Depth 對(duì)于神經(jīng)網(wǎng)絡(luò)的影響

PhysicsAI 預(yù)測(cè)汽車風(fēng)阻操作視頻

3

DrivAer 模型的訓(xùn)練

3.1 DrivAerNet++ 樣本庫(kù)

2024年美國(guó)麻省理工的 Mohamed Elrefaie 等人公布了DrivAer 車型的 CFD 仿真數(shù)據(jù)庫(kù)。其中包含三種造型，分別是 Estateback, Fastback 和 Notchback； 底盤有兩種類型，光滑底盤和詳細(xì)底盤；輪轂分為全封閉式和開放式，輪胎有光滑胎面和保留輪紋造型。

模型庫(kù)的和統(tǒng)計(jì)分布。從左到右三列數(shù)據(jù)分別比較：兩種底盤類型（Smooth/Detail），三種后背造型(Estateback/Fastback/Notchback)，兩種輪轂（Open/Close）。圖的第一行用散點(diǎn)表示，第二行用概率密度分布圖表示，樣本值大體上符合正態(tài)分布。

DrivAerNet++ 數(shù)據(jù)庫(kù)共8000個(gè)樣本，計(jì)算共耗時(shí)三百萬(wàn) CPU 核時(shí)，39T的數(shù)據(jù)量。

3.2 聚類分析

聚類（Clustering）是通過(guò)對(duì)未標(biāo)記數(shù)據(jù)的相似性分析，將數(shù)據(jù)分組為不同的簇（Cluster），從而揭示大數(shù)據(jù)隱藏的自然分組。聚類不僅可大幅減少數(shù)據(jù)量，同時(shí)保留主要分布特征，還能識(shí)別低密度區(qū)域的離群點(diǎn)，排除噪聲數(shù)據(jù)的干擾。聚類也可以輔助數(shù)據(jù)理解，無(wú)需先驗(yàn)知識(shí)即可將數(shù)據(jù)分組，為后續(xù)建模提供直觀的數(shù)據(jù)分析基礎(chǔ)，避免因數(shù)據(jù)分布不均導(dǎo)致模型偏差。

Wall Shear Stress 場(chǎng)值聚類

熱力圖（Heat Map）展示數(shù)據(jù)在不同維度或簇間的映射關(guān)系。顏色深淺表示關(guān)聯(lián)強(qiáng)度，幫助發(fā)現(xiàn)簇間潛在聯(lián)系。如下圖，在第22簇中絕大部分樣本的在0.28左右，其外形符合”低” 特征；而第9簇中大部分樣本的在0.35左右，其外形符合”高”特征。

3.3 樣本下采樣 Downsampling

考慮到大數(shù)據(jù)訓(xùn)練的成本，分別采用三種不同下采樣方法縮減原始樣本數(shù)量，并對(duì)比訓(xùn)練效果。

• 方法一：隨機(jī)采樣，缺點(diǎn)是有可能丟失關(guān)鍵特征樣本；
• 方法二：均勻下采樣，不論這些樣本簇的原始規(guī)模大小如何，從每個(gè)樣本簇選取數(shù)量相等數(shù)量的樣本。這能確保在所有樣本簇中實(shí)現(xiàn)均衡的代表性，并且在訓(xùn)練過(guò)程中有助于避免對(duì)規(guī)模較大的樣本簇中的模型產(chǎn)生偏向；
• 方法三：分層下采樣，樣本的選取是按照簇的規(guī)模進(jìn)行比例分配的，規(guī)模較大的簇所貢獻(xiàn)的樣本更多，而規(guī)模較小的簇所貢獻(xiàn)的樣本則較少。它保留了聚類的原始分布，從而確保數(shù)據(jù)集能夠反映實(shí)際的差異性。

3.4 訓(xùn)練參數(shù)縮減

為了進(jìn)一步壓縮訓(xùn)練成本，將原始 CFD 結(jié)果的場(chǎng)值數(shù)據(jù)批量映射到粗糙面網(wǎng)格上，同時(shí)保持幾何主要特征和場(chǎng)值梯度。如圖所示，將一千多萬(wàn)面網(wǎng)格數(shù)據(jù)縮減到一百五十萬(wàn)面網(wǎng)格。

3.5 KPI值訓(xùn)練和預(yù)測(cè)：風(fēng)阻系數(shù)

• 從仿真結(jié)果推導(dǎo)：積分車身表面的Pressure 和 Wall Shear Stress 在x方向的分量獲得FD，參考面積A值可以從車身幾何的x方向正投影獲取。
• 來(lái)自風(fēng)洞試驗(yàn)：空氣動(dòng)力系數(shù)和場(chǎng)值結(jié)果一起作為訓(xùn)練集。

3.6 DrivAer 模型訓(xùn)練

模型的訓(xùn)練效果和樣本的數(shù)量/質(zhì)量，采樣方法，超參數(shù)的設(shè)置等因素有關(guān)。初次訓(xùn)練未必就能達(dá)到最佳，因此有必要分階段逐步調(diào)整訓(xùn)練的策略。如表所示，四輪訓(xùn)練的參數(shù)對(duì)比，均采用 GCNS 算法，訓(xùn)練硬件采用 NVIDIA A100 GPU。

如圖，四輪訓(xùn)練預(yù)測(cè)精度在51個(gè)驗(yàn)證集上的對(duì)比曲線，風(fēng)阻系數(shù)值覆蓋0.25到0.38區(qū)間，其中x軸為驗(yàn)證樣本編號(hào)，y軸為值。藍(lán)色曲線來(lái)自樣本庫(kù)，橘色曲線是 PhysicsAI 預(yù)測(cè)。經(jīng)過(guò)四輪訓(xùn)練， 的預(yù)測(cè)誤差 MAE 從0.0177降低到0.00736。

下圖顯示的是其中一個(gè)驗(yàn)證樣本的MAE云圖，允許用戶查看預(yù)測(cè)誤差在空間的分布狀態(tài)?？梢耘袛啾据喩疃葘W(xué)習(xí)的誤差主要來(lái)自車頭機(jī)艙蓋前緣、車頂前緣、A柱、前輪迎風(fēng)面，及前保險(xiǎn)杠兩側(cè)區(qū)域。通常這些位置的微小變化會(huì)帶來(lái)的劇烈變動(dòng)，提示在該區(qū)域須提供更多樣本學(xué)習(xí)。

新模型（STL面網(wǎng)格或CAD）導(dǎo)入 HyperMesh, 用戶點(diǎn)擊 Prediction，一分鐘內(nèi)即可生成新的h3d文件。（包含場(chǎng)值結(jié)果）

用戶可以對(duì)AI生成的h3d文件進(jìn)行常規(guī) CFD 后處理，例如沿著車身創(chuàng)建切面，分析每個(gè)切面風(fēng)阻貢獻(xiàn)量，以及風(fēng)阻發(fā)展累計(jì)曲線。

3.7 AI 驅(qū)動(dòng)風(fēng)阻優(yōu)化

訓(xùn)練好的 DrivAer 代理模型（文件尺寸僅30M）嵌入到傳統(tǒng)的 DOE 參數(shù)優(yōu)化流程，替代原先的 CFD 求解器，加速設(shè)計(jì)迭代。如圖所示，采用AI代理模型對(duì)DrivAer 的6個(gè) Morph 變量進(jìn)行了9輪迭代尋優(yōu)，將從0.254降低到0.2505。 且優(yōu)化過(guò)程無(wú)須調(diào)用HPC，可以在普通筆記本電腦完成。

優(yōu)化迭代曲線

4

總結(jié)

傳統(tǒng)的車輛空氣動(dòng)力學(xué)仿真需要經(jīng)歷幾個(gè)步驟：CAD 模型簡(jiǎn)化和清理，網(wǎng)格生成，求解器參數(shù)設(shè)定，HPC 計(jì)算和后處理的步驟。通常一輪設(shè)計(jì)迭代需要數(shù)天時(shí)間。而 PhysicsAI 工具可以在一分鐘內(nèi)從整車幾何或面網(wǎng)格上預(yù)測(cè)出相當(dāng)準(zhǔn)確的空氣動(dòng)力學(xué)參數(shù)。幾何深度學(xué)習(xí)在復(fù)雜模型流體力學(xué)模擬中展現(xiàn)出革命性潛力：實(shí)現(xiàn)實(shí)時(shí)仿真，推動(dòng)快速設(shè)計(jì)優(yōu)化。

幾何深度學(xué)習(xí)的預(yù)測(cè)精度不僅依賴于訓(xùn)練樣本的可靠性，樣本數(shù)量，樣本的多樣性。訓(xùn)練方法，如超參數(shù)的微調(diào)，聚類方法，離群值的識(shí)別等因素也會(huì)產(chǎn)生顯著影響。

高保真 CFD 數(shù)據(jù)（如LES/DES）生成，風(fēng)洞試驗(yàn)標(biāo)定成本高昂, 企業(yè)和科研機(jī)構(gòu)合作建立開放的標(biāo)準(zhǔn)車型數(shù)據(jù)庫(kù)有助于推動(dòng)行業(yè)的技術(shù)進(jìn)步。

參考文獻(xiàn)：

[1] Michael M. Bronstein, Joan Bruna, Yann LeCun, Arthur Szlam, Pierre Vandergheynst. Geometric deep learning: going beyond Euclidean data. IEEE Signal Processing Magazine Volume: 34, Issue: 4 July 2017.

[2] Mario Lino, Stathi Fotiadis, Anil A. Bharath, Chris D. Cantwell1. Current and emerging deep-learning methods for the simulation of fluid dynamics. Proceedings of the Royal Society A July 2023479(2275).

[3] Mohamed Elrefaie, Florin Morar, Angela Dai, Faez Ahmed. DrivAerNet++: A Large-Scale Multimodal Car Dataset with Computational Fluid Dynamics Simulations and Deep Learning Benchmarks. 38th Conference on Neural Information Processing Systems (NeurIPS 2024) Track on Datasets and Benchmarks.

[4] EMAN AHMED et al. A survey on Deep Learning Advances on Different 3D Data Representations. Computer Science - Computer Vision and Pattern Recognition,2018.

[5] Sam Jacob Jacob1 et al. Deep Learning for Real-Time Aerodynamic Evaluations of Arbitrary Vehicle Shapes. SAE International Journal of Passenger Vehicle Systems-V131-15EJ,2022.

[6] R. Fioresi, F. Zanchetta, Deep Learning and Geometric Deep Learning: an introduction for mathematicians and physicists, DOI: 10.48550/arXiv.2305.05601

[7] Altair Engineering. HyperWorks User Guide 2025.

A

申請(qǐng)免費(fèi)試用

如您對(duì) Altair 軟件及解決方案感興趣

歡迎掃描二維碼申請(qǐng)免費(fèi)試用：

全球100個(gè)AI應(yīng)用案例電子書下載

△Altair 正式發(fā)布全球100個(gè)AI應(yīng)用案例電子書，內(nèi)容覆蓋10+行業(yè)的100個(gè)AI應(yīng)用場(chǎng)景。點(diǎn)擊圖片立即獲取，了解全球AI驅(qū)動(dòng)工程設(shè)計(jì)應(yīng)用成功案例，以及AI技術(shù)如何為工業(yè)制造業(yè)的產(chǎn)品全生命周期帶來(lái)賦能與革新。

關(guān)于 Altair 澳汰爾

Altair 是計(jì)算智能領(lǐng)域的全球領(lǐng)導(dǎo)者之一，在仿真、高性能計(jì)算 (HPC) 和人工智能等領(lǐng)域提供軟件和云解決方案，服務(wù)于16000多家全球企業(yè)，應(yīng)用行業(yè)包括汽車、消費(fèi)電子、航空航天、能源、機(jī)車車輛、造船、國(guó)防軍工、金融、零售等。

近期，Altair被全球工業(yè)軟件領(lǐng)導(dǎo)者西門子收購(gòu)，成為西門子數(shù)字化工業(yè)軟件(Siemens Digital Industries Software)旗下成員，進(jìn)一步鞏固西門子在仿真和工業(yè)人工智能領(lǐng)域的全球領(lǐng)導(dǎo)者地位，其技術(shù)正與西門子Xcelerator解決方案進(jìn)行深度整合。

欲了解更多信息，歡迎訪問(wèn)：

www.altair.com.cn