開放群：566811107（資料多，不僅限交流）

群一：836281296
群二：594368389  
群三：1080606488        
群四： 678357196      
我的qq： 209870384有興趣的可以加我，交流模型。

     

       最近的氣溫真是忽高忽高、讓人琢磨不定，但所幸天氣預(yù)報(bào)都還很準(zhǔn)確，沒有和大家開玩笑。

不過，你知道這些準(zhǔn)確的氣溫預(yù)測(cè)，是通過解方程算出來的嗎？

不僅如此，靠解方程還能模擬飛機(jī)空氣動(dòng)力、疾病傳播模型！

是什么方程這么厲害？我學(xué)過嗎？

它就是偏微分方程（PDE），在我們的世界中無處不在。

但在實(shí)際應(yīng)用中，用計(jì)算機(jī)求解偏微分方程的難度很大，往往為了求出一個(gè)解而需要大型機(jī)器運(yùn)行一個(gè)月。

并且，隨著科研中遇到問題的復(fù)雜度、運(yùn)算量逐漸增加，也就更需要高效快速的求解方法。

最近，來自加州理工大學(xué)的一個(gè)研究團(tuán)隊(duì)就用AI來解決這一難題，他們開發(fā)了一種新的神經(jīng)網(wǎng)絡(luò)，比傳統(tǒng)的PDE求解快幾個(gè)數(shù)量級(jí)，并且在理論上適用于任何偏微分方程。

甚至連流體力學(xué)里的“老大難”：N-S方程也不在話下！

對(duì)于簡(jiǎn)單方程的求解，這種方法只需幾秒就能解出答案，而傳統(tǒng)方法需要18個(gè)小時(shí)！

訓(xùn)練神經(jīng)網(wǎng)絡(luò)=求解PDE

神經(jīng)網(wǎng)絡(luò)的本質(zhì)是逼近一個(gè)函數(shù)，函數(shù)是從一個(gè)變量到另一個(gè)變量的映射。

比如圖像識(shí)別網(wǎng)絡(luò)，就是把輸入的圖像數(shù)據(jù)，與最后的分類結(jié)果之間建立映射關(guān)系。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)其實(shí)就是盡可能逼近這個(gè)函數(shù)，這和數(shù)值求解PDE本質(zhì)是一樣的。

2016年，人們開始研究圖像識(shí)別神經(jīng)網(wǎng)絡(luò)如何用于求解PDE，用成對(duì)的生成數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，比如計(jì)算平面上不同基本形狀（如三角形、四邊形）物體周圍的空氣流速場(chǎng)。

訓(xùn)練數(shù)據(jù)集的輸入是物體幾何形狀和的初始條件信息，輸出是相應(yīng)的二維幾何物體。訓(xùn)練過程等于建立輸入和輸出之間的相關(guān)性。

訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)，可以用于預(yù)測(cè)其他情況（比如汽車形狀）的流速場(chǎng)，它只和與傳統(tǒng)數(shù)值求解器的結(jié)果略有不同，但求解速度更快。

然而，對(duì)于專門研究PDE的人來說，這種方法還遠(yuǎn)遠(yuǎn)不夠。

因?yàn)樯厦娴姆椒ň纫话氵_(dá)不到要求，如果想要實(shí)現(xiàn)更高的精度，所需的數(shù)據(jù)量和網(wǎng)絡(luò)大小將爆炸式增長(zhǎng)，失去了原本快速求解的意義。

從函數(shù)到算子

所以，人們想到了一種新方法，求助于“算子”。算子是一種從函數(shù)到函數(shù)的映射。

函數(shù)：數(shù)→數(shù)算子：函數(shù)→函數(shù)

比如，正弦算子(sin)把線性函數(shù)x變成三角函數(shù)sinx，微分（求導(dǎo)）算子(d/dx)把三次函數(shù)x變成二次函數(shù)3x。

2019年，來自布朗大學(xué)和中科院的學(xué)者開發(fā)了一種“深度算子網(wǎng)絡(luò)”（DeepONet），就是用算子的方法求解PDE。

DeepONet的特殊之處在于其分叉架構(gòu)，它以兩個(gè)并行網(wǎng)絡(luò)處理數(shù)據(jù)，一個(gè)是“分支”和一個(gè)“主干”。

“分支網(wǎng)絡(luò)”學(xué)習(xí)生成算子，也就是對(duì)輸入端函數(shù)進(jìn)行近似，“主干網(wǎng)絡(luò)”負(fù)責(zé)對(duì)輸出端函數(shù)進(jìn)行同樣操作。然后，DeepONet結(jié)合兩個(gè)網(wǎng)絡(luò)的輸出，得到PDE的解。

雖然DeepONet相比PDE數(shù)值求解器速度驚人，但是它需要在訓(xùn)練期間進(jìn)行密集計(jì)算。當(dāng)必須使用大量數(shù)據(jù)訓(xùn)練使算子越來越精確時(shí)，可能會(huì)存在問題。

那么神經(jīng)算子能加速PDE求解嗎？

傅里葉變換

后來，加州理工大學(xué)與普渡大學(xué)的團(tuán)隊(duì)，開發(fā)了另一種新的方法——“傅里葉神經(jīng)算子”（FNO）。

FNO比DeepONet在計(jì)算上要更加簡(jiǎn)單，因?yàn)镈eepONet還要淺層網(wǎng)絡(luò)去近似模擬算子，而FNO有現(xiàn)成的方法可用，就是傅里葉變換。

有些音樂軟件顯示的頻譜圖，其實(shí)就是一種傅里葉變換，它把連續(xù)變化聲音信號(hào)轉(zhuǎn)換到頻率空間中。

經(jīng)過傅里葉變換，原來函數(shù)之間的卷積，在頻率空間中變成了更簡(jiǎn)單的乘積。

FNO的核心是傅里葉層。

傅里葉層會(huì)在訓(xùn)練數(shù)據(jù)推送到神經(jīng)網(wǎng)絡(luò)的單層之前，對(duì)其進(jìn)行傅里葉變換，然后用一個(gè)線性變換R過濾掉其中的高頻部分，再通過傅里葉逆變換的得到原空間的函數(shù)。

FNO可以顯著提高求解PDE的速度。在一個(gè)求解NS方程的例子中，需要3萬次模擬，F(xiàn)NO求解時(shí)間不到一秒，DeepONet耗時(shí)2.5秒，而在這種情況下，傳統(tǒng)的求解器需要18個(gè)小時(shí)。

團(tuán)隊(duì)介紹

該研究的第一作者是Zongyi Li，是加州理工計(jì)算機(jī)和數(shù)學(xué)系的一名博士二年級(jí)學(xué)生。研究方向?yàn)闄C(jī)器學(xué)習(xí)、理論計(jì)算機(jī)科學(xué)和應(yīng)用數(shù)學(xué)。

他的導(dǎo)師是英偉達(dá)著名女科學(xué)家Anima Anandkumar。

作為AI界的風(fēng)云女性，Anima不僅在研究成果上戰(zhàn)績(jī)斐然，在學(xué)術(shù)圈也是懟天懟地。

此前，她曾在博客公開喊話，強(qiáng)烈反對(duì)發(fā)論文不給代碼行為，呼吁學(xué)術(shù)會(huì)議強(qiáng)制要求投稿同時(shí)必須公開代碼，以對(duì)造假論文進(jìn)行追責(zé)、利于行業(yè)公平競(jìng)爭(zhēng)。

并且為了對(duì)抗AI學(xué)術(shù)界對(duì)女性的歧視和調(diào)侃，她曾在Twitter上大戰(zhàn)LeCun。以一己之力讓頂級(jí)學(xué)術(shù)會(huì)議NIPS改了名字，避免了女性參會(huì)者的尷尬。

Anima希望學(xué)術(shù)界更關(guān)注女性的學(xué)術(shù)成就，而不是長(zhǎng)相。當(dāng)有人在她的講座視頻下夸她漂亮?xí)r，她的做法是——?jiǎng)h評(píng)。

參考鏈接：[1]https://www.quantamagazine.org/new-neural-networks-solve-hardest-equations-faster-than-ever-20210419/[2]https://arxiv.org/abs/2010.08895[3]https://arxiv.org/abs/1910.03193[4]https://github.com/zongyi-li/fourier_neural_operator