一、背景   

  數值模擬已廣泛應用于航空發動機的設計和研制領域，數值模擬技術的應用可以有效地提高設計精度，減少實驗迭代次數和開發成本，縮短開發周期，提高研究效率和質量。

  目前在航空發動機領域，部件級仿真技術經過多年發展已經非常成熟，有效促進了航發部件的設計。然而時至今日，航空發動機整機的仿真依舊面臨較大挑戰。

  首先整個航空發動機包含風扇、壓氣機、燃燒室、渦輪等多個部件，使得整機仿真對網格和計算規模的要求遠超以往；其次，部件復雜幾何、高速相對運動以及無處不在的多尺度流動，對網格功能與性能提出苛刻的要求；第三，核心能量轉化部件燃燒室內多相、噴霧、燃燒、傳熱、聲學等多物理化學過程強烈耦合，給求解器開發帶來極大難度。最后，上述三點導致航發仿真求解器在大規模并行時難以獲得令人滿意的并行效率，從而無法真正利用超級計算機資源。

  二、應用概述

  我們開創性地在“神威·太湖之光”超級計算機上基于swOpenFoam完成發動機整機模擬。如圖1所示，目標發動機由2個軸、2級風扇、10級壓氣機、一個短環形燃燒室，和7級渦輪組成。 網格總量在業界首次達到 50億 ， 并行規模達到 65336個MPI進程 ， 強擴展性測試中66560核相對8320核 并行效率保持在80%以上 。在“神威·太湖之光”上投入的 總核數為400萬核 ，持續運算性能高達 1384 DP-GFLOP/s 。

圖1 目標渦輪風扇發動機模型

  三、挑戰  

  1.航空發動機仿真并行規模和問題規模難以增長  

  航空發動機仿真并行規模和問題規模難以增長有多方面的原因。首先是航空發動機/燃氣輪機模擬需要更復雜精細的燃燒模型，以及需要利用高性能計算資源進行超大規模并行計算的專門優化。第二個原因是當網格和并行規模非常大時，網格生成和后處理也成了一道難以逾越的屏障。目前業界在工程實際中仍傾向于使用基于RANS的低保真模擬，未能將強大的超級計算資源應用于航空發動機的真實模擬。

  2.在先進超級計算機上，異構眾核處理器訪存帶寬受限  

  從2010年開始，異構眾核處理器成了高性能計算中的主流硬件架構，例如GPU或Intel MIC。“神威·太湖之光”是另一種異構系統，組成它的SW26010芯片采用片上融合的異構眾核架構，如圖2所示，每塊芯片由四個核組組成，每個核組包含一個主核和64個從核。相比于多核架構處理器，異構眾核處理器一般訪存帶寬受限，SW26010在此方面更加顯著，并且非結構網格數據分散，因此非結構網格程序在SW26010眾核處理器上難以獲得較好的性能。

圖2 SW2606處理器架構示意圖

  四、解決之法  

  1.使用swOpenFOAM  

  swOpenFOAM（ 點擊了解詳情 ）是國家超級計算無錫中心“神工坊”團隊對OpenFOAM進行深度移植優化形成的一款可以在國產“神威·太湖之光”超級計算機上進行大規模多級并行計算的通用CFD軟件。 我們對OpenFOAM的多個核心計算模塊進行了從核加速，覆蓋通量計算和代數求解，涉及大量計算熱點，熱點最高加速17倍，某風電場算例測試中OpenFAOM整體加速4倍。

  2.AMI優化  

  結合“神威·太湖之光”超級計算機的硬件環境，優化AMI邊界處理的并行通信機制，將多個AMI的動態表面和靜態表面相結合，有效解決AMI的并行瓶頸。以4000萬網格單元的測試為例，在1000個核并行的情況下，單時間步AMI邊界插值系數計算需要1300秒才能完成。但是， 優化后只需不到20秒的時間 。因此，AMI并行優化效率顯著提高。

  3.“神威·太湖之光”上的非結構計算眾核加速策略  

  我們通過兩種網格分段排序策略，即行分段策略和網格多級重排，有效地解決了非結構網格計算在“神威·太湖之光”異構眾核芯片上計算效率低下的問題。兩種措施都能夠有效解決異構眾核芯片訪存受限情況下，非結構網格計算數據分散的問題，有效提高緩存命中率，最終提升程序效率。

  五、性能與結果對比  

  1.應用介紹    

  我們采用的渦扇發動機由兩個軸、2級風扇、10級壓氣機、短環形燃燒室和7級渦輪組成，如圖3所示。我們使用swOpenFOAM求解器在“神威·太湖之光”超級計算機上，對該發動機的三維非定常流動和燃燒進行計算。

圖3 算例中使用渦扇發動機模型

  模擬的工況為：高壓壓氣機和高壓渦輪轉速12290轉/分；風扇和低壓渦輪轉速3505轉/分。時間格式采用CFL數固定、時間步長可調的歐拉隱式格式。采用區域分解方法生成燃燒室非結構四面體網格和發動機其余部件的六面體網格，包括風扇、壓氣機、燃燒室和發動機在內的整個航空發動機網格，如下圖所示。

  我們設計了三組算例CASE-1 ~ CASE-3來測試并行性能。CASE-3使用65336個SW26010核組來測試峰值性能。

表1 各算例網格數

  2.性能與結果分析  

  首先是弱擴展性測試，我們使用網格量不同的算例CASE-1、CASE-2、CASE-3。如表所示，其中NCPU是SW26010的核心數量，MPIs是進程數量，TN是運行時間，當前測試表明swOpenFOAM具有良好的弱擴展性能。

表2 弱擴展性測試算例配置

  強擴展性測試我們使用CASE-1的網格，分為四組并行規模。如表所示SN為并行效率，強擴展性能良好。

表3 強擴展性測試算例配置

  持續峰值運行性能測試使用CASE-3的網格，核數為4259840核，網格量51億，持續峰值性能達到1384.92 DP-GFLOP/s。

  圖4為整個航空發動機馬赫數和溫度的仿真結果。結果顯示了該航空發動機子午截面上的流速分布，風扇、壓氣機和渦輪轉子葉片的轉速以及燃燒室內的燃燒現象。

圖4 馬赫數云圖

  圖5為整個航空發動機的壓力和溫度仿真結果。從結果中可以看出，通過數千塊葉片的工作，氣流在壓氣機出口處的壓力最高。高壓氣體在燃燒室與燃料混合，充分燃燒，釋放出巨大的機械能。高壓高能氣體驅動渦輪做功，氣流經過渦輪后，壓力減小，速度增大。

圖5 溫度云圖

最后，圖6為高壓壓氣機第6級轉子出口處從根部到葉尖總壓比沿葉高的模擬分布，并與固定傳感器和移動探針的實驗測量值進行對比。

圖6 總壓分布對比

  六、結論  

  經過上述性能與結果分析，我們認為在本次仿真應用中實現了高保真模擬，設計人員可以捕捉部件相互作用造成的復雜現象，并在設計的中后期階段對航空發動機的性能進行合理準確的預測，從而縮短發動機研發周期、降低研發成本。

  在第18屆中國CAE工程分析技術年會暨第4屆中國數字仿真論壇上，本次應用斬獲2022數字仿真科技獎“卓越應用獎”。