摘要：FEM，有限單元法。筆者是結(jié)構(gòu)專業(yè)出身。就結(jié)構(gòu)有限元而言，在數(shù)學(xué)原理上和M-L model（機(jī)器學(xué)習(xí)模型）有著非常顯著的相似。筆者才疏學(xué)淺，大膽猜測，也許他們都可以歸類為最優(yōu)解問題。

00 結(jié)構(gòu)FEM的數(shù)學(xué)原理

利用最小勢能原理建立有限元表達(dá)格式：

1. 構(gòu)造單元的位移形函數(shù)（以坐標(biāo)為變量，以節(jié)點(diǎn)位移為待定系數(shù)），加上一些力學(xué)理論，建立勢能表達(dá)式，比如：

2. 很顯然，上式無法求解待定系數(shù)，所以額外引入最優(yōu)解的約束條件：

這樣就得到了有限元表達(dá)格式（有限元方程）：

根據(jù)K，P，求解出a。

 

02 線性模型的數(shù)學(xué)原理

1. 構(gòu)造線性表達(dá)式（以特征值為變量，以w為待定系數(shù)），比如：

2. 很顯然，上式無法求解待定系數(shù)，所以額外引入最優(yōu)解約束條件：

這樣就可以求解出w了。

還可以引入其它最優(yōu)解約束條件，Ridge回歸：

Lasso回歸：

ElasticNet回歸：

Logistic(邏輯)回歸：

                               or

                                or

 Logistic回歸算法選擇：

03 決策樹的數(shù)學(xué)原理

1. 構(gòu)造表達(dá)式，比如：

H可以有不同的表達(dá)式，

gini：

entropy：

mean squared error：

2. 很顯然，上式無法求解待定系數(shù)，所以額外引入最優(yōu)解約束條件：

 然后就可以求解了。

04 樸素貝葉斯的數(shù)學(xué)原理

表面上看，樸素貝葉斯的數(shù)學(xué)原理在敘述上和上述思想有所不同，其實(shí)有同有不同：

根據(jù)貝葉斯定理：

得出最優(yōu)解約束條件：

這是我們首次提到，最優(yōu)解約束條件是有根據(jù)的；前文中，我們提到的線性模型，決策樹，都沒有闡述引入約束條件的根據(jù)。這是不同之處。

相同之處在：

1. 構(gòu)造表達(dá)式，比如

假設(shè)條件概率分布符合高斯分布：

假設(shè)條件概率分布符合多項式分布：

假設(shè)條件概率分布符合伯努利分布：

等等形式，不一一列舉。

2. 很顯然，上式無法求解待定系數(shù)，所以額外引入最優(yōu)解約束條件：

05 K-NN的數(shù)學(xué)原理

表面上看，K-NN的數(shù)學(xué)原理和以上有所不同，其實(shí)有同有不同：

不同之處在于，沒有提及構(gòu)造表達(dá)式，其實(shí)最優(yōu)解約束條件已經(jīng)包含了構(gòu)造表達(dá)式。所以數(shù)學(xué)原理在思想還是一樣的。

06 總結(jié)

01 上文所有的數(shù)學(xué)原理都是先構(gòu)造表達(dá)式，在額外加最優(yōu)解約束條件。很顯然表達(dá)式不是隨意構(gòu)造的，在結(jié)構(gòu)有有限元中，我們的形函數(shù)很豐富，有三角形，四邊形，四面體，六面體等，有一次，有二次等；最優(yōu)解約束條件其實(shí)是有根據(jù)的，即最小勢能原理和變分原理。

02 在線性模型中，我們構(gòu)造了線性表達(dá)式，所以稱為線性模型，如果我們構(gòu)造的是二次的表達(dá)式，則屬于非線性模型；而最優(yōu)解約束條件（最小二乘），我們并沒有指出根據(jù)，所以最小二乘與其說是約束條件，不如說是評價準(zhǔn)則，評價數(shù)據(jù)符合線性模型的程度，越符合，則最小二乘結(jié)果越小；如果構(gòu)造的是二次表達(dá)式，最小二乘則是評價數(shù)據(jù)符合二次模型的程度。

03 在決策樹模型中，同樣構(gòu)造了表達(dá)式，那么它的最優(yōu)解約束條件是原理性的，還是人為賦予的評價準(zhǔn)則呢？筆者認(rèn)為是人為賦予的評價，該約束條件評價了數(shù)據(jù)適合切分的程度，切得越細(xì)，則表示數(shù)據(jù)越不適合切分。

04 在上文中，已經(jīng)指明，樸素貝葉斯的最優(yōu)解約束條件是有根據(jù)的，即貝葉斯定理。而高斯分布，伯努利分布等即使構(gòu)造表達(dá)式的不同方式。這里的最優(yōu)解約束條件不是為了評價數(shù)據(jù)符合各種假設(shè)分布的程度。就像在有限元中，最小勢能原理并不是評價形函數(shù)的準(zhǔn)則，只是不同的形函數(shù)在最小勢能原理下最終會得到不然的答案。

05 在K-NN模型中，筆者認(rèn)為，最優(yōu)解約束條件是人為賦予的評價準(zhǔn)則，該約束條件評價了測試特征接近訓(xùn)練特征的程度，越接近，則標(biāo)簽值越接近。

06 由此我們可以看出，不同情況下，需要使用不同的機(jī)器學(xué)習(xí)模型，就像不同的結(jié)構(gòu)問題，需要不同的單元，不同的網(wǎng)格劃分一樣，具備一定的靈活性 。這從原理上，已經(jīng)決定了這個屬性。