2023 年 3 月 17 日? 14 分鐘閱讀    

大家好，我是 Julio Mendez，一名 CFD 科學(xué)家，目前在Corrdesa工作 ，使用 CFD 研究電化學(xué)應(yīng)用。

我的 CFD 之旅始于 2007 年，當(dāng)時我在家鄉(xiāng)委內(nèi)瑞拉的La Universidad del Zulia尋找本科論文的主題。我敲了一扇門，在一年內(nèi)改變了我的一生。我不知道如何編寫“Hello world”，最終在 FORTRAN 77 中擴(kuò)展了一個具有湍流功能的內(nèi)部 CFD 求解器。從我今天的經(jīng)驗來看，我意識到這沒什么大不了的，但是對于對數(shù)值計算一無所知的人來說，這是一筆不小的數(shù)目。本科畢業(yè)論文答辯后，我被邀請攻讀計算熱科學(xué)碩士學(xué)位。那是最好的學(xué)術(shù)經(jīng)歷，后來打開了不同的機(jī)會。

約翰：本科畢業(yè)論文典型嗎？雖然我讀本科的時候還不是這樣，但我和一位教授進(jìn)行獨立研究時玩得很開心，他讓我和一個朋友讓激波管起死回生。

Julio：是的，這是強(qiáng)制性的。你還必須做一個高級項目，在這個項目中，我的團(tuán)隊有幸設(shè)計了一個蒸汽發(fā)電廠。我負(fù)責(zé)冷凝器設(shè)計和管道系統(tǒng)。由于那次接觸，我在一家名為 Inelmeca 的工程咨詢公司獲得了我的第一份工作經(jīng)驗，在那里我度過了我職業(yè)生涯中最美好的五年。您必須明智地選擇可以對您的生活產(chǎn)生積極影響的項目。我偶然發(fā)現(xiàn) CFD 只是為了完成我的論文，但我的所有背景都是關(guān)于熱流體的，而不是應(yīng)用數(shù)學(xué)和數(shù)值計算。

2013年，我申請了獎學(xué)金攻讀博士學(xué)位，幸運的是，我得到了回復(fù)！教授對我的本科論文感興趣，連碩士論文都不感興趣！（現(xiàn)在你知道為什么那扇門改變了我的生活！）。我開始攻讀博士學(xué)位。2014 年在北卡羅來納州 A&T 州立大學(xué), 再次使用拋物線納維-斯托克斯方程在海洋和風(fēng)力渦輪機(jī)中應(yīng)用湍流建模。盡管如此，我的導(dǎo)師意識到我們需要在研究中多加努力才能取得實質(zhì)性進(jìn)展。這個決定也改變了我的博士課程。我開始在計算機(jī)科學(xué)系上課，這就是我接觸高性能計算 (HPC) 美麗世界的方式。我很幸運擁有該地區(qū)最好的教授之一，Kenneth Flurchick 博士 (RIP)，他后來成為我的 HPC 導(dǎo)師，他是我的博士生的一部分。委員會。那次經(jīng)歷教會了我從硬件到軟件開發(fā)以及應(yīng)用程序到 HPC 系統(tǒng)的數(shù)值計算的由內(nèi)而外。在我攻讀博士學(xué)位期間 研究，我們還探索了一些關(guān)于時空大渦模擬的想法。很遺憾，由于資金被削減，這些研究都沒有觸及現(xiàn)實世界。這些削減迫使我轉(zhuǎn)移到另一個研究領(lǐng)域，那個讓我成為門德斯博士的研究領(lǐng)域。我最后的博士學(xué)位 我的論文是關(guān)于超音速/超音速流動的，在那里我共同開發(fā)了一種用于超音速/超音速流動的新算法。圖 1 顯示了自由流馬赫數(shù)為 6 的音速射流交叉流相互作用的數(shù)值解，交叉噴射的馬赫數(shù)固定為 1 馬赫。

圖 1. 帶有 V-Velocity 等高線的流線。（Sonic Jet 橫流相互作用）

除了在新框架的開發(fā)方面工作外，我還負(fù)責(zé)將源代碼移植到 HPC，這是一項我喜歡的工作，并且從編程中學(xué)到了很多東西。在這里，我使用了多個系統(tǒng)和編程模型：CUDA、OpenMP、OpenACC、MPI 以及它們的組合。我認(rèn)為所有的經(jīng)歷塑造了我現(xiàn)在的工程師/科學(xué)家類型。我的興趣從計算機(jī)科學(xué)到數(shù)值分析不等。這些年來，我一直致力于線性求解器、顯式技術(shù)、數(shù)值方法和高保真數(shù)值計算。我最近開發(fā)了用于實驗設(shè)計 (DoE) 和代理建模的工具，以加速工程設(shè)計。

大家可以想象，我一直很難停止做基礎(chǔ)研究。這是我作為 CFD 科學(xué)家最喜歡的部分。我繼續(xù)與學(xué)術(shù)界合作，與我以前的博士學(xué)位一起工作。研究組和其他組或獨立。我目前住在佐治亞州紐南，在 Corrdesa LLC 擔(dān)任 CFD 工程師。我們是一家小公司，但我們有一個小型 HPC 系統(tǒng)（240 個 CPU）和良好的工作站。例如，我的工作站是 Dell Precision 5820，如果我需要用一個詞來描述我的工作，那就是“挑剔”。我需要在這方面努力，因為我總是力求完美，但有時有必要劃清界限并向前邁進(jìn)。

您認(rèn)為未來 5 年 CFD 面臨的最大挑戰(zhàn)是什么？

我不得不引用我們在數(shù)值方法或從高保真數(shù)值方法到工業(yè)應(yīng)用的過渡中看到的緩慢進(jìn)展。我知道這些開發(fā)中的大部分仍處于早期階段，但大多數(shù)大型 CFD 公司正在緩慢地采用這些新方法。另一方面，其他新公司已決定基于這些更新的算法來構(gòu)建他們的新產(chǎn)品，我覺得這非常好。

另一個挑戰(zhàn)是數(shù)據(jù)。我們創(chuàng)建了大量數(shù)據(jù)；有時，很難管理它。這在研究中甚至更加復(fù)雜，例如 DNS 研究和類似的事情。

最后，事物發(fā)展如此之快以至于要跟上甚至維持以前的發(fā)展是非常具有挑戰(zhàn)性的。例如，我們都知道 CUDA 是一種非常著名的供應(yīng)商依賴語言，許多新的 HPC 系統(tǒng)將不支持利用 CUDA 的求解器。我們在 HPC 領(lǐng)域看到了類似的事情，在開源庫中看到了更多。

你目前在做什么？

我目前在兩個不同的領(lǐng)域工作。首先，在學(xué)術(shù)界，我正在與 Tapan K. Sengupta 教授的團(tuán)隊合作，使用 theta（阿貢的超級計算機(jī)）進(jìn)行高保真數(shù)值計算。這次合作是我一直想做的事情。你知道，當(dāng)你欽佩、尊重和關(guān)注他的工作的教授允許你加入他的團(tuán)隊進(jìn)行國際合作時，這就像夢想成真。

另一方面，我正在 Corrdesa LLC 從事多個聯(lián)邦/商業(yè)項目。這些項目與電化學(xué)應(yīng)用工具的設(shè)計有關(guān)，我也在致力于創(chuàng)建腐蝕工具集，以簡化 CFD 模擬過程。有時，在最終用戶不是 CFD 工程師而是可持續(xù)發(fā)展領(lǐng)域的某個領(lǐng)域需要這些工具。目標(biāo)是將 CFD 背后的所有復(fù)雜性預(yù)先打包在一個 GUI 中，用戶無需成為 CFD 專家即可測試多個場景。

由于我的工作性質(zhì)，我不能分享我在商業(yè)上所做的任何事情，但這是我們?yōu)?AIAA 航空論壇提交的關(guān)于與 Sengupta 教授合作的草稿的圖片。這不是我們習(xí)慣在 CFD 中看到的漂亮圖片，但它具有重要的價值。我們正在使用阿貢的超級計算機(jī)（多虧了 DD 分配程序）。該圖顯示了平均墻時間與（網(wǎng)格點/處理器）的關(guān)系。在 theta（ALCF 超級計算機(jī)）上獲得的初步結(jié)果表明在本研究中使用的分辨率下線性加速。請注意，我們在 266 K CPU 上使用了 327.7 億個點。我為這項工作感到非常自豪，我們正在解決瑞利-泰勒不穩(wěn)定性的直接數(shù)值模擬，

圖 2. 執(zhí)行 Runge-Kutta 時間積分每個時間步長所用的平均壁時間

約翰：你在一個擁有超過 320 億個點的網(wǎng)格上對 266,000 個 CPU 進(jìn)行線性縮放？有什么具體的你可以引用使這成為可能嗎？

胡里奧：首先，必須承認(rèn) Sengupta 教授的貢獻(xiàn)和工作。他的團(tuán)隊開發(fā)了這段代碼，而我只是在參與這項最近的研究，但這項偉大的工作是由他的團(tuán)隊完成的。幾個月前，我與 Sengupta 教授進(jìn)行了同樣的對話，回顧一下，一切都?xì)w結(jié)為緩存命中和重疊計算和通信。幸運的是，大多數(shù)編譯器在優(yōu)化代碼方面做得很好，但作為開發(fā)人員，您必須精通如何編寫求解器，對于 HPC 應(yīng)用程序，您需要精通如何將通信與計算重疊。這是為科學(xué)應(yīng)用開發(fā)代碼時最重要的方面之一。同樣，我不是開發(fā)代碼的小組的成員，但開發(fā)團(tuán)隊做得非常出色。這通過線性可擴(kuò)展性得到證明。隨著核心數(shù)量的增加（同時保持網(wǎng)格固定），您正在使核心級別的子域變小。因此，在某些情況下，大部分計算都適合緩存，而您的求解器會利用緩存命中。

總之，我通過以下方式看到這一點。幾個核心的通信時間相當(dāng)長。此外，您在核心級別有一個更大的問題，需要在主內(nèi)存上獲取數(shù)據(jù)。隨著核心數(shù)量的增加，每個處理器（較小的域）分配的內(nèi)存總量就會減少；因此我們的緩存命中率高于緩存未命中率。除此之外，我們增加了 PE（核心）的數(shù)量，因此我們向更多的鄰居發(fā)送更多的數(shù)據(jù)包，這些數(shù)據(jù)包更小，因此我們減少了消息量（延遲）。這是我的觀點，也許是錯誤的，所以請三思而后行。

你最引以為豪的項目是什么？為什么？

有多個項目我確實感到自豪，但我認(rèn)為有兩個我非常自豪能在上面蓋上我的姓氏。其中之一是我去年在 AIAA SciTech 上發(fā)表的一篇論文。這篇論文的獨特之處在于，我是在獲得博士學(xué)位后做的，而且不知何故，我一個人完成了所有事情。這是我推動我的想法、更多 CFD 開發(fā)、撰寫提案以獲得 HPC 資源等的機(jī)會。當(dāng)你看到你努力工作可以完成的所有事情時，感覺非常好。

這篇論文的目的是進(jìn)一步驗證我在博士期間使用的 IDS（積分微分方案）。這一次，我想對方案進(jìn)行更深入的分析，我們給出了幾個計算來證明新方案的流動物理捕獲能力。我們研究了分層 Kelvin-Helmholtz 不穩(wěn)定剪切層、Taylor-Green 渦旋和 Riemann 問題的二維解。這是我們首次嘗試對無粘性和粘性流進(jìn)行全面研究。您可以看到圖 1 和下圖之間的分辨率差異。我在匹茲堡超級計算中心 (PSC) 使用了 NSF 支持的 Bridges 系統(tǒng)，獎勵編號 ACI-1445606。我通過 XSEDE 獲得了這些資源。

圖 3. 分層 Kelvin-Helmholtz 問題的密度場。

從專業(yè)角度來說，有一個項目我很高興參與其中。我是負(fù)責(zé)為 ECM（電化學(xué)應(yīng)用）創(chuàng)建數(shù)值計算工作流程的開發(fā)人員。項目開始時，沒有任何 CFD 商業(yè)軟件包可以開箱即用地處理大網(wǎng)格變形，因此之前的所有嘗試都因此失敗。當(dāng)網(wǎng)格拉伸過多時，您必須停止計算并在對計算域進(jìn)行多次修改后手動重新網(wǎng)格化所有內(nèi)容——想象一下，僅對一次工具設(shè)計迭代執(zhí)行此操作 50 到 100 次。因此，我建議創(chuàng)建一個腳本，在每個時間步測量多個網(wǎng)格指標(biāo)，并根據(jù)某些標(biāo)準(zhǔn)和預(yù)測，在我們遇到負(fù)體積或網(wǎng)格質(zhì)量下降到求解器剛剛發(fā)散的點之前重新劃分整個域的網(wǎng)格。為此，我決定使用 Simcenter StarCCM+ 和 Fidelity Pointwise。這兩個包使我能夠為 ECM 應(yīng)用程序創(chuàng)建我的工作流程。結(jié)果非常出色！我希望盡快發(fā)布一些東西。

您是否正在閱讀我們應(yīng)該了解的任何有趣的技術(shù)論文？

是的，我嘗試經(jīng)常閱讀論文。我發(fā)現(xiàn)了有趣的想法，更重要的是，它讓您了解最新的方法。我正在閱讀多篇具有多個目標(biāo)的論文。例如，我最近閱讀了 L. Davidson 的筆記“ Using Machine Learning for formulating new wall functions for Large Eddy Simulation: A second attempt ”。我想知道 Davidson 教授對 LES ML 的看法。我關(guān)注了他的工作，并且在我攻讀博士學(xué)位時，他的貢獻(xiàn)非常有用。

我最近閱讀了“ On the role of spectral properties of viscous flux discretization for flow simulation on marginally resolved grids ”這篇論文來自 Seven Frankel 的小組。如果你從事 LES，你必須知道他的工作。

我最近還閱讀了Tapan 教授小組的“用于 DNS 緊湊方案的高精度保持并行算法”和“用于湍流數(shù)值模擬的偽譜方法分析”。我對 CO2 捕獲非常感興趣，并且我已經(jīng)閱讀了 CFD 小組的一些嘗試，他們嘗試通過源項來模擬 CO2 吸收，而不是模擬反應(yīng)本身。一篇不錯的論文是 D. Asendrych 的“ CO2 吸收的數(shù)值模擬”。

除此之外，我經(jīng)常重溫 Denaro 教授關(guān)于他在 LES 工作的論文；出色的工作！Filippo Maria Denaro 教授的一篇關(guān)于 LES 和數(shù)值計算的論文讓我大開眼界：“ What does Finite Volume-based implicit filtering really resolve in Large-Eddy Simulations? ”。

您每天使用什么軟件或工具？

Simcenter StarCCM+ 和 Fidelity Pointwise。在后期處理方面，我使用 Paraview 和 Tecplot。我的首選程序是用 Python 進(jìn)行數(shù)據(jù)后處理和做更多事情，而對于 CFD 開發(fā)，我使用 Fortran。

你的工作空間是什么樣的？

我在家工作，每周也去辦公室?guī)状危瑓⒓訒h并與團(tuán)隊保持聯(lián)系。由于一些限制，我無法發(fā)布辦公室的照片，但我正在分享一張我在家辦公室“蝙蝠洞”的照片，這是大多數(shù)事情發(fā)生的地方。

您在 CFD 世界之外做什么？

我喜歡飛機(jī)，并且在我的遺愿清單上參加了飛行課程，所以我閱讀了很多關(guān)于飛行背后的科學(xué)知識，并且我在 YouTube 上觀看 VLOG。我讀到了通用航空的飛機(jī)。我喜歡和我的妻子和女兒一起看電影，也喜歡去佛羅里達(dá)和北卡羅來納州探望家人。

您收到的最好的 CFD 建議是什么？

“不是因為它會發(fā)光，而是因為它是金子”。當(dāng)我們是這個領(lǐng)域的新手時，我們將模擬中的顏色視為神奇的東西，并且我們傾向于認(rèn)為它們是理所當(dāng)然的。因此，當(dāng)我開始使用 CFD 時，我的導(dǎo)師建議對結(jié)果非常挑剔，質(zhì)疑我的結(jié)果勝過其他任何事情。試圖總是關(guān)閉我的學(xué)習(xí)，永遠(yuǎn)不要安于任何我不自豪地在上面蓋上姓氏的東西。CFD 是一個很棒的領(lǐng)域，但很容易陷入成為按鈕推動者的陷阱。你總是需要質(zhì)疑自己的結(jié)果。你必須繼續(xù)你的學(xué)習(xí)過程，因為我們使用計算機(jī)來解決復(fù)雜的問題，但在后端，有很多事情在發(fā)生。

此外，我在委內(nèi)瑞拉的導(dǎo)師不允許我坐在電腦前不仔細(xì)閱讀帕坦卡的書的每一頁。他過去每周五都給我測驗，但這對我后來開始編寫 CFD 求解器編程有很大幫助，在 CFD 工作四年后，我開始使用商業(yè)軟件包。那是你必須在 Gambit 上做網(wǎng)格的時候。幸運的是，我們今天有 Fidelity Pointwise！

如果我必須總結(jié)所有好的建議，請從下往上開始，不要走捷徑！

如果你必須選擇一個地方吃晚飯，你會去哪里？

毫無疑問，我想回到我祖國的一家餐廳，在那里我與父親和母親留下了美好的回憶。該餐廳位于委內(nèi)瑞拉蘇利亞的 Los Puertos de Altagracia。餐廳就在湖邊，食物超級新鮮可口。我喜歡 los risos，這是一種加黃油和奶酪的魚條。還有另一家很棒的餐廳叫 Chuita，供應(yīng)最新鮮的魚。他們不給客人餐具，因為那是我們在湖前那個地區(qū)吃魚的方式。美好的回憶，當(dāng)然。

約翰：我試著想象在沒有餐具的情況下吃魚——但失敗了。你在美國找到正宗的委內(nèi)瑞拉美食了嗎？

Julio：不是真的，雖然你可以在佛羅里達(dá)找到美味的委內(nèi)瑞拉食物。例如，肉餡卷餅、pastelitos y tequenos。它們非常受歡迎，在佛羅里達(dá)州很容易買到。

約翰：感謝您抽出寶貴時間接受我們的采訪。

Julio：John，謝謝您允許這位委內(nèi)瑞拉人在您的博客中介紹自己。CFD 社區(qū)承認(rèn)并感謝您對該領(lǐng)域的貢獻(xiàn)。很高興能分享我在 CFD 和 HPC 方面的旅程，當(dāng)我搬到這個美麗的國家，我有機(jī)會與如此有才華的人一起學(xué)習(xí)和工作時，我的旅程飛速發(fā)展！快樂的計算和“Muchas gracias！”

文章來源：cadence博客