回歸模型的案例
機(jī)器學(xué)習(xí)回歸模型相關(guān)重要知識點(diǎn)總結(jié)
來源：機(jī)器學(xué)習(xí)研習(xí)院
回歸分析為許多機(jī)器學(xué)習(xí)算法提供了堅(jiān)實(shí)的基礎(chǔ)。在這篇文章中，我們將總結(jié) 10 個重要的回歸問題和5個重要的回歸問題的評價指標(biāo)。
1、線性回歸的假設(shè)是什么？
線性回歸有四個假設(shè)
線性：自變量（x）和因變量（y）之間應(yīng)該存在線性關(guān)系，這意味著x值的變化也應(yīng)該在相同方向上改變y值。
獨(dú)立性：特征應(yīng)該相互獨(dú)立，這意味著最小的多重共線性。
正態(tài)性：殘差應(yīng)該是正態(tài)分布的。
同方差性：回歸線周圍數(shù)據(jù)點(diǎn)的方差對于所有值應(yīng)該相同。
2、什么是殘差，它如何用于評估回歸模型？
殘差是指預(yù)測值與觀測值之間的誤差。它測量數(shù)據(jù)點(diǎn)與回歸線的距離。它是通過從觀察值中減去預(yù)測值的計算機(jī)。
殘差圖是評估回歸模型的好方法。它是一個圖表，在垂直軸上顯示所有殘差，在 x 軸上顯示特征。如果數(shù)據(jù)點(diǎn)隨機(jī)散布在沒有圖案的線上，那么線性回歸模型非常適合數(shù)據(jù)，否則我們應(yīng)該使用非線性模型。
3、如何區(qū)分線性回歸模型和非線性回歸模型？
兩者都是回歸問題的類型。兩者的區(qū)別在于他們訓(xùn)練的數(shù)據(jù)。
線性回歸模型假設(shè)特征和標(biāo)簽之間存在線性關(guān)系，這意味著如果我們獲取所有數(shù)據(jù)點(diǎn)并將它們繪制成線性（直線）線應(yīng)該適合數(shù)據(jù)。
非線性回歸模型假設(shè)變量之間沒有線性關(guān)系。非線性（曲線）線應(yīng)該能夠正確地分離和擬合數(shù)據(jù)。
展開 自回歸式語言XLNet模型的文本生成試驗(yàn)
1 引言
自回歸式語言生成基于假設(shè)：一個詞序列的概率分布可以分解為鄰接的下一個詞條件概率分布的乘積。使用不同的解碼策略，目前產(chǎn)生出許多用于自回歸語言生成的模型，最流行的模型有GPT2, XLNet, OpenAi-GPT, CTRL, TransfoXL, XLM, Bart和T5，對GPT2模型我們已經(jīng)作了很多探索性的工作：
GeotechSet數(shù)據(jù)集在GPT2上的訓(xùn)練過程
GPT2-Large模型解碼方法比較
GPT2-Large模型解碼方法---Top-K and Top-p
新探索---EleutherAI的GPT Neo/GPT-3模型
GeotechSet模型的擴(kuò)展和優(yōu)化---集成了aitextgen
開放式文本生成(Open-Ended Text Generation)
同時也對T5模型作了探索性的工作:
生成摘要(Summarization)的新方法
Transformers的Text2TextGeneration管道測試
這個筆記探索另一個模型XLNet。
2 XLNet模型
XLNet來自Google公司Yang等人(2019)的論文《XLNet: Generalized Autoregressive Pretraining for Language Understanding(XLNet: 用于語言理解的廣義自回歸預(yù)訓(xùn)練)》，XLNet是一種無監(jiān)督的語言表征學(xué)習(xí)方法，它基于一種新的廣義包絡(luò)語言建模目標(biāo)。XLnet是Transformer-XL模型的一個擴(kuò)展，使用自回歸方法進(jìn)行預(yù)訓(xùn)練，在涉及長上下文的語言任務(wù)中表現(xiàn)出優(yōu)異的性能。XLNet在各種下游語言任務(wù)上取得了最先進(jìn)的(SOTA)結(jié)果，包括問題回答、自然語言推理、情感分析和文檔排名。
展開 機(jī)器學(xué)習(xí) |使用 Python 的多元線性回歸
藍(lán)色點(diǎn)表示基于要素（MedInc 和 AveRooms）的實(shí)際房價，紅色表面表示多元線性回歸模型預(yù)測的最佳擬合平面。
【技術(shù)】DTEmpower核心功能技術(shù)揭秘(2) - AIOD智能異常點(diǎn)檢測技術(shù)
建模方案：采用如圖7所示方法對軸承剩余壽命進(jìn)行建模預(yù)測，該方法采用了Linear Regression線性回歸、Bayesian Ridge貝葉斯回歸和Kernel Ridge核嶺回歸等8種算法進(jìn)行實(shí)驗(yàn)。
在不剔除異常點(diǎn)、剔除25/50/100個異常點(diǎn)的實(shí)驗(yàn)條件下，分別對模型的R2和RMSE指標(biāo)進(jìn)行對比。
圖7 基于DTEmpower軟件平臺的軸承剩余壽命預(yù)測建模方案，使用AIOD智能異常點(diǎn)檢測技術(shù)進(jìn)行異常點(diǎn)檢測和刪除。DTEmpower不僅提供了圖形化的建模方法，還提供有大量算法可供用戶選擇
iv. 實(shí)驗(yàn)結(jié)果：圖8和圖9的實(shí)驗(yàn)結(jié)果表明，隨著AIOD智能異常點(diǎn)檢測技術(shù)檢測出的異常點(diǎn)被刪除，回歸模型的精度有明顯的上升趨勢。這再次說明了AIOD智能異常點(diǎn)檢測技術(shù)在另一工業(yè)場景中的實(shí)用性；
圖8 隨著刪除異常點(diǎn)的個數(shù)從0依次增加到25/50/100，8種回歸模型的R2精度指標(biāo)均有明顯的上升趨勢
圖9 隨著刪除異常點(diǎn)的個數(shù)從0依次增加到25/50/100，8種回歸模型的RMSE誤差指標(biāo)均有明顯的下降趨勢。結(jié)合圖8，這再次說明了AIOD智能異常點(diǎn)檢測技術(shù)在實(shí)際工業(yè)場景中的實(shí)用性
圖10 Kernel Ridge算法的預(yù)測結(jié)果隨異常點(diǎn)刪除的變化情況，隨著刪除異常點(diǎn)的個數(shù)從0依次增加到25/50，模型的預(yù)測結(jié)果在不斷逼近真實(shí)值
2. 實(shí)驗(yàn)結(jié)果分析
① 異常點(diǎn)檢測在實(shí)際工業(yè)場景中有著廣泛的應(yīng)用和重要的現(xiàn)實(shí)意義，目前市場上存在著多種多樣的異常點(diǎn)檢測算法，但每種算法都有各自的應(yīng)用范圍和局限性。
② 天洑軟件博采眾多異常檢測算法之長處，融合了數(shù)十種常見算法，并結(jié)合自研的智能調(diào)度策略，實(shí)現(xiàn)了適用范圍更加廣泛的異常點(diǎn)檢測方案--AIOD智能異常點(diǎn)檢測技術(shù)，并集成在天洑DTEmpower軟件之中。
展開 
人工智能簡介及其目前如何被巖土工程師使用
特別是在巖土工程中，我們經(jīng)常依靠經(jīng)驗(yàn)數(shù)據(jù)來做出一些決策，對數(shù)據(jù)進(jìn)行回歸分析。
在巖土工程中，回歸分析是一種統(tǒng)計技術(shù)，用于建立不同土壤特性和設(shè)計參數(shù)之間的關(guān)系。通過分析歷史數(shù)據(jù)和實(shí)驗(yàn)結(jié)果，工程師可以開發(fā)回歸模型來預(yù)測特定結(jié)果或根據(jù)已知因素估計未知的土壤特性。下面是一個簡單回歸模型的示例，該模型用于根據(jù) RMR 估計開采洞穴的
standup time。
在工程領(lǐng)域中，碎片化的非結(jié)構(gòu)化數(shù)據(jù)一直阻礙著更高級的人工智能應(yīng)用。在Civils.ai，我們接受了這個挑戰(zhàn)，幫助工程公司組織和結(jié)構(gòu)化他們的數(shù)據(jù)，從而實(shí)現(xiàn)先進(jìn)的人工智能應(yīng)用程序的開發(fā)。
我們開始從巖土工程報告中提取和結(jié)構(gòu)化數(shù)據(jù)，幫助工程師節(jié)省了繁瑣的手動轉(zhuǎn)錄時間，并避免浪費(fèi)他們在單調(diào)乏味的任務(wù)上發(fā)揮工程創(chuàng)新潛力。
Civils.ai創(chuàng)造了一個鉆孔記錄數(shù)字化工具，消除了對鉆孔記錄的手動轉(zhuǎn)錄需求。該系統(tǒng)能夠自動將數(shù)據(jù)轉(zhuǎn)換為AGS和Excel格式，簡化流程并節(jié)省寶貴時間。
用于提取和結(jié)構(gòu)化PDF數(shù)據(jù)的AI技術(shù)包括：
1 視覺智能技術(shù)：人工智能利用視覺智能技術(shù)，如計算機(jī)視覺，從視覺數(shù)據(jù)中提取和結(jié)構(gòu)化信息。計算機(jī)視覺算法可以分析圖像和視頻，識別物體、字符和模式。在數(shù)據(jù)提取的背景下，人工智能可以自動從圖像或掃描文檔中提取相關(guān)信息，例如地質(zhì)描述、厚度和坐標(biāo)等。通過應(yīng)用計算機(jī)視覺技術(shù)，人工智能系統(tǒng)可以高效處理大量的視覺數(shù)據(jù)，減少對手動干預(yù)的需求，并實(shí)現(xiàn)更快速、更準(zhǔn)確的數(shù)據(jù)提取。
2 Transformer技術(shù)：Transformer已經(jīng)成為各種任務(wù)的強(qiáng)大AI模型，包括語言處理和數(shù)據(jù)結(jié)構(gòu)化。像流行的BERT（雙向編碼器來自Transformer）這樣的Transformer模型具有理解文本數(shù)據(jù)中上下文和關(guān)系的能力。
展開 【案例分享】南通中遠(yuǎn)海運(yùn)川崎船舶運(yùn)動軌跡智能分析及預(yù)測
方法1：
將數(shù)據(jù)集分為訓(xùn)練集預(yù)測試集，對訓(xùn)練值進(jìn)行建模，訓(xùn)練集用于基于回歸模型的精度對比，測試集用于船舶運(yùn)動軌跡預(yù)測。訓(xùn)練集的流程及模型對比結(jié)果如下圖所示。
利用測試集預(yù)測的船舶運(yùn)動軌跡，結(jié)果如下圖所示，可以看出雖然不同模型的精度很高，但是預(yù)測的軌跡精度很低，存在過擬合現(xiàn)象，且軌跡預(yù)測與時間有關(guān)，回歸類模型訓(xùn)練不適合。因此，后續(xù)將嘗試?yán)脮r序模型進(jìn)行建模訓(xùn)練。
方法2：
采用線型時序模型訓(xùn)練。變量僅時間和船舶經(jīng)緯度，訓(xùn)練集的時序進(jìn)行重采樣，確保時間間隔相等，模型預(yù)測未來100個周期的數(shù)據(jù)。模型流程及預(yù)測結(jié)果如下圖所示。
從預(yù)測結(jié)果可以看出，在預(yù)測的100個時間周期內(nèi)，開始的預(yù)測結(jié)果較好，隨著時間的推移，精度開始變差；預(yù)測結(jié)果僅與時間有關(guān)，未考慮外力的影響，很難模擬船舶的回轉(zhuǎn)軌跡；僅能預(yù)測100個時間周期，不具備長期預(yù)預(yù)測能力。因此，該模型不適合長期預(yù)測船舶運(yùn)動軌跡。
方法3：
采用滑動窗口+回歸模型對船舶運(yùn)動軌跡進(jìn)行預(yù)測。考慮外界因素對預(yù)測結(jié)果的影響，采用滑動窗口的方式考慮變量的歷史值。滑動窗口設(shè)置三個位移，包括風(fēng)速、風(fēng)向、航向、艏向、舵角、主機(jī)轉(zhuǎn)速和主機(jī)功率。并引入MDI重要性分析，重要性閾值設(shè)為0.02。模型流程及預(yù)測結(jié)果如下圖所示。
從預(yù)測結(jié)果可以看出，預(yù)測結(jié)果誤差仍然較大，通過敏感性分析后，仍存在過擬合的情況。通過分析，輸出變量的歷史值影響下一時刻的位置，即外力條件一樣，不同時刻輸出的位置也是不一樣的。因此，需要生成與時間和位置相關(guān)聯(lián)的特征變量。
方法4：
采用滑動窗口+表達(dá)式生成新特征變量+回歸模型的方法。輸入變量為航行日期及經(jīng)度緯度，通過表達(dá)式將其轉(zhuǎn)化為時間間隔與航行距離。
展開 使用線性回歸預(yù)測降雨量 ￥2
?
降雨預(yù)測是機(jī)器學(xué)習(xí)的常見應(yīng)用，而線性回歸是一種簡單而有效的技術(shù)，可用于此目的。在此任務(wù)中，目標(biāo)是根據(jù)歷史數(shù)據(jù)預(yù)測降雨量。
線性回歸是一種監(jiān)督式學(xué)習(xí)算法，用于對因變量與一個或多個自變量之間的關(guān)系進(jìn)行建模。在這種情況下，因變量是降雨量，自變量是用于預(yù)測降雨量的特征，例如溫度、濕度、風(fēng)速等。
第一步是收集歷史數(shù)據(jù)，其中包括降雨量和自變量的相應(yīng)值。收集數(shù)據(jù)后，需要對其進(jìn)行清理和預(yù)處理，以刪除任何異常值或缺失值。
接下來，將數(shù)據(jù)分為兩組：訓(xùn)練集和測試集。訓(xùn)練集用于訓(xùn)練模型，而測試集用于評估其性能。
要執(zhí)行線性回歸，我們首先需要定義一個假設(shè)函數(shù)，將輸入變量映射到輸出變量。在這種情況下，假設(shè)函數(shù)是以下形式的線性方程：
y = b0 + b1x1 + b2x2 + ... + bnxn
其中 y 是預(yù)測的降雨量，x1， x2， ...， xn 是輸入變量，b0， b1， b2， ...， bn 是在訓(xùn)練期間學(xué)習(xí)的系數(shù)。
為了訓(xùn)練模型，我們需要找到使訓(xùn)練集中預(yù)測值與實(shí)際值之間的差異最小的系數(shù)值。這是通過使用梯度下降或其他一些優(yōu)化算法最小化均方誤差 （MSE） 來實(shí)現(xiàn)的。
訓(xùn)練模型后，它可用于預(yù)測新輸入值的降雨量。可以使用各種指標(biāo)來評估模型的性能，例如決定系數(shù) （R^2）、均方誤差 （MSE） 和均方根誤差 （RMSE）。
總之，線性回歸是一種簡單而有效的技術(shù)，可用于根據(jù)歷史數(shù)據(jù)預(yù)測降雨量。該過程包括收集和預(yù)處理數(shù)據(jù)、定義假設(shè)函數(shù)、訓(xùn)練模型以及評估其性能。
先決條件：線性回歸
降雨預(yù)測是科學(xué)技術(shù)用于預(yù)測一個地區(qū)的降雨量的應(yīng)用。準(zhǔn)確確定降雨量對于有效利用水資源、作物生產(chǎn)力和水結(jié)構(gòu)的預(yù)先規(guī)劃非常重要。在本文中，我們將使用線性回歸來預(yù)測降雨量。線性回歸告訴我們可以預(yù)期的降雨量。該數(shù)據(jù)集是來自德克薩斯州奧斯汀的公共天氣數(shù)據(jù)集，可在 Kaggle 上使用。
展開 線性回歸-sklearn（python）
摘要：本文主要展示scikit-learn中關(guān)于線性回歸模型的使用，涉及到線性回歸，嶺回歸，Lasso回歸，ElasticNet回歸；
00 安裝scikit-learn庫
pip install scikit-learn
01 獲取sklearn中糖尿病患者數(shù)據(jù)
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets, linear_model
diabetes=datasets.load_diabetes()
train_x=diabetes.data[:342,:]
train_y=diabetes.target[:342].reshape(-1,1)
test_x=diabetes.data[342:,:]
test_y=diabetes.target[342:].reshape(-1,1)
02 線性回歸
regre=linear_model.LinearRegression()
regre.fit(train_x,train_y)
獲取回歸模型參數(shù)：
regre.coef_
Out[16]:
array([[ -8.41868608, -246.87356823, 515.48111342, 302.57455473,
-403.03503059, 160.72498918, -73.58961448, 127.08804647,
609.91854338, 87.69439173]])
regre.intercept_
Out[17]: array([152.09317069])
regre.score(test_x,test_y)
Out
展開 機(jī)器學(xué)習(xí)實(shí)踐指南:案例應(yīng)用解析(第二版)PDF高清文檔下載
機(jī)器學(xué)習(xí)實(shí)踐指南》第2版比第1版增加了更多的案例和算法解析，全書詳細(xì)介紹了機(jī)器學(xué)習(xí)發(fā)展及應(yīng)用前景、科學(xué)計算平臺、Python計算平臺應(yīng)用、R語言計算平臺應(yīng)用、生產(chǎn)環(huán)境基礎(chǔ)、統(tǒng)計分析基礎(chǔ)、描述性分析案例、假設(shè)檢驗(yàn)與回歸模型案例、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計算法、歐氏距離與余弦相似度、SVM、回歸算法、PCA降維、關(guān)聯(lián)規(guī)則、聚類與分類算法、數(shù)據(jù)擬合案例、圖像算法案例、機(jī)器視覺案例、文本分類案例等機(jī)器學(xué)習(xí)實(shí)踐與應(yīng)用。
chatGPT大火，人工智能如何應(yīng)用在工程設(shè)計？
測試集占比為25%，意思就是拿75%的數(shù)據(jù)去學(xué)習(xí)，生成模型，然后拿25%數(shù)據(jù)去校核看這個模型預(yù)測準(zhǔn)不準(zhǔn)。
第五步模型訓(xùn)練。就是選要生成模型的算法，DT里有幾十種算法，不知道選哪個沒問題，你就挨個試，我選1個線性的，這3個非線性的，都拖進(jìn)去。點(diǎn)擊開始，哇，跑完了。看這速度，和仿真比，真的是過癮！
然后我們看一下哪個模型好，這些數(shù)據(jù)都是體現(xiàn)精度的，咱們就看R方值，它是這個公式算出來的，總之就是越接近1，模型精度越高。
這個線性模型的精度是最低的，只有0.56。Excel里的多元回歸模型就是這個，而且只有這個，看這個精度，大家以后不要用Excel多元回歸模型做稍復(fù)雜的數(shù)據(jù)分析和預(yù)測，準(zhǔn)確度太低。
比較R方值之后，選擇ExtraTrees模型。點(diǎn)評估，就彈出了我們最期待的界面，輸入留存的這2組數(shù)據(jù)，先輸1組，誤差2%，還不錯，下一組數(shù)據(jù)誤差0%。這個精度，完全可以和仿真媲美，但速度快了無數(shù)倍啊，我說話的速度，都耽誤操作，要是不說話還能快不少！這速度讓仿真工程師有沒有感覺到好爽。
這類軟件呢，目前階段也有一定應(yīng)用局限性，比如對于整體結(jié)構(gòu)和設(shè)計參數(shù)比較明確的部件就比較合適，像今天的船型啊，像飛機(jī)機(jī)翼的翼型啊，就定義弦長、中弧線以及相對彎度等幾個參數(shù)，來預(yù)測升力、像汽車進(jìn)氣道啊，這些你比較清楚地知道什么作為自變量的，就可以用這樣的人工智能工具去輔助產(chǎn)品的研發(fā)，一定程度上代替仿真。但設(shè)計那種你也不知道該用什么樣的結(jié)構(gòu)才能讓性能更好的部件時，就不大適用了，畢竟結(jié)構(gòu)都沒定，參數(shù)也定不了，也不可能有合適數(shù)量的歷史數(shù)據(jù)，那就只能仿真了，如果通過仿真找到了規(guī)律，初定了結(jié)構(gòu)，積累了一定數(shù)據(jù)量，還沒有得到想要的性能，那就可以接著用DT來跑一跑了，畢竟省時間。
展開 45基于matlab的ARIMA ￥15.9
自回歸差分移動平均模型(p,d,q)，AR自回歸模型，MA移動平均模型，時間序列模型步驟包括：1. 數(shù)據(jù)平穩(wěn)性檢驗(yàn)；2. 確定模型參數(shù)；3. 構(gòu)建時間序列模型；4.模型預(yù)測；5.模型準(zhǔn)確性評估。可替換自己的數(shù)據(jù)，程序已調(diào)通，可直接運(yùn)行。
【新聞】DTEmpower核心功能技術(shù)揭秘(5) - AIAgent模塊
表1 基于AIAgent和其他3個訓(xùn)練算法的船舶興波阻力回歸模型的精度指標(biāo)，通過表中數(shù)據(jù)可以看到，基于AIAgent訓(xùn)練算法的模型精度均高于其他算法，這表明了在興波阻力數(shù)據(jù)集上AIAgent算法相較于其他3種算法的優(yōu)越性
圖5 基于不同算法的回歸模型在測試集上真實(shí)值和預(yù)測值的預(yù)測誤差，藍(lán)色曲線代表AIAgent算法的擬合誤差，不難發(fā)現(xiàn)AIAgent算法的擬合誤差基本都在0值上下波動，且波動范圍小于其他3種算法的擬合誤差，這說明了AIAgent算法對于測試集數(shù)據(jù)具有強(qiáng)于其他3種算法的泛化能力
總結(jié)
數(shù)據(jù)和特征決定了模型的上限，在如何讓算法不斷逼近這個上限的問題上，天洑軟件針對“小數(shù)據(jù)集”自主研發(fā)了AIAgent功能模塊，并集成在DTEmpower軟件平臺中。
在實(shí)際工業(yè)場景中的應(yīng)用案例和對比實(shí)驗(yàn)，證明了AIAgent功能模塊能輕松、有效的提高模型精度。在不同應(yīng)用場景（如風(fēng)力機(jī)強(qiáng)度回歸分析和船舶興波阻力回歸分析）下的實(shí)驗(yàn)結(jié)果，也說明AIAgent功能模塊的通用性和易用性。
DTEmpower不僅提供了一站式的數(shù)據(jù)建模解決方案，同時借助于AIAgent、異常點(diǎn)檢測以及高維可視化等技術(shù)的加持，可以幫助用戶快速、便捷的深入挖掘數(shù)據(jù)和特征，為建立高精度的數(shù)據(jù)模型提供了一條高效可落地的實(shí)現(xiàn)路徑。
----------------The end----------------
展開 人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡稱ANNs）的激活函數(shù)-5
激活函數(shù)的目的是在模型中引入非線性，允許網(wǎng)絡(luò)學(xué)習(xí)和表示數(shù)據(jù)中的復(fù)雜模式。如果沒有非線性，神經(jīng)網(wǎng)絡(luò)的行為基本上就像線性回歸模型，無論它有多少層。
激活函數(shù)通過計算加權(quán)和并進(jìn)一步為其添加偏差來決定是否應(yīng)該激活神經(jīng)元。激活函數(shù)的目的是將非線性引入神經(jīng)元的輸出中。
解釋：我們知道，神經(jīng)網(wǎng)絡(luò)的神經(jīng)元與權(quán)重、偏差和它們各自的激活函數(shù)相對應(yīng)。在神經(jīng)網(wǎng)絡(luò)中，我們將根據(jù)輸出處的誤差更新神經(jīng)元的權(quán)重和偏差。此過程稱為反向傳播 。激活函數(shù)使反向傳播成為可能，因?yàn)樘荻扰c更新權(quán)重和偏差的誤差一起提供。
? 神經(jīng)網(wǎng)絡(luò)的元素
Input Layer：此層接受輸入特征。它從外部世界向網(wǎng)絡(luò)提供信息，這一層不進(jìn)行計算，這里的節(jié)點(diǎn)只是將信息（特征）傳遞給隱藏層。
隱藏層：該層的節(jié)點(diǎn)不暴露在外部世界，它們是任何神經(jīng)網(wǎng)絡(luò)提供的抽象的一部分。隱藏層對通過輸入層輸入的特征執(zhí)行各種計算，并將結(jié)果傳輸?shù)捷敵鰧印? Output Layer：該層將網(wǎng)絡(luò)學(xué)習(xí)到的信息帶到外部世界。
? 為什么我們需要非線性激活函數(shù)？
沒有激活函數(shù)的神經(jīng)網(wǎng)絡(luò)本質(zhì)上只是一個線性回歸模型。激活函數(shù)對輸入進(jìn)行非線性變換，使其能夠?qū)W習(xí)和執(zhí)行更復(fù)雜的任務(wù)。
? 數(shù)學(xué)證明
假設(shè)我們有一個這樣的神經(jīng)網(wǎng)絡(luò) ：-
該圖的元素如下：
隱藏層，即第1層：
z（1） = W（1）X + b（1） a（1）
這里:
? z（1） 是第 1 層的矢量化輸出
? W（1） 是分配給隱藏層神經(jīng)元的矢量化權(quán)重，即 w1、w2、w3 和 w4
? X 是矢量化的輸入特征，即 i1 和 i2
? b 是分配給隱藏層中神經(jīng)元的矢量化偏差，即 b1 和 b2
? a（1） 是任何線性函數(shù)的矢量化形式。
展開 DOE的正確實(shí)施步驟，你做對了嗎？ 附isight淺談進(jìn)行DOE的步驟下載
06
第六步：回歸試驗(yàn)
在析因試驗(yàn)中，確定了所有因素與指標(biāo)間的主要影響項(xiàng)，但是考慮到功效問題，我們需要進(jìn)一步的安排一些試驗(yàn)來最終確定因素的最佳影響水平，這時的試驗(yàn)只是一個對析因試驗(yàn)的試驗(yàn)點(diǎn)的補(bǔ)充，也就是還可以利用析因試驗(yàn)的試驗(yàn)數(shù)據(jù)，只是為了最終能夠優(yōu)化我們的指標(biāo)，或者說有效全面的構(gòu)建因素與水平的相應(yīng)曲面和等高線，我們增加一些試驗(yàn)點(diǎn)來完成這個任務(wù)。
試驗(yàn)點(diǎn)一般根據(jù)回歸試驗(yàn)的旋轉(zhuǎn)性來選取，而且它的水平應(yīng)該根據(jù)功效、因子數(shù)、中心點(diǎn)數(shù)等方面的合理設(shè)置，以確保回歸模型的可靠性和有效性。這些試驗(yàn)的完成，我們就可以分析和建立起因素和指標(biāo)間的回歸模型，而且可以通過優(yōu)化的手段來確定最終的因子水平設(shè)定。當(dāng)然為了保險起見，我們最后在得到最佳參數(shù)水平組合后進(jìn)行一些驗(yàn)證試驗(yàn)來檢驗(yàn)結(jié)果。
07
第七步：穩(wěn)健設(shè)計
試驗(yàn)設(shè)計的目的就是希望通過設(shè)置可以調(diào)控的一些關(guān)鍵因素來達(dá)到控制指標(biāo)的目的，因?yàn)閷τ谥笜?biāo)來講是無法直接控制的，試驗(yàn)設(shè)計提供了這種可能和途徑，但是在現(xiàn)實(shí)中卻還存在一類這樣的因素，它對指標(biāo)影響同樣的顯著，但是它很難通過人為的控制來確保其影響最優(yōu)，這類因素一般稱為噪聲因素，它的存在往往會使試驗(yàn)成果功虧一簣，所以對待它的方法，除了盡量的控制之外可以選用穩(wěn)健設(shè)計的方法，目的是這些因素的影響降低至最小，從而保證指標(biāo)的高優(yōu)性能。
事實(shí)上這些因素是普遍存在的，例如汽車行駛的路面，不可能保證都是在高級公路上，那么對于一些差的路面，怎樣來設(shè)計出高性能呢？這時會選擇出一些抗干擾的因素來緩解干擾因素的影響，這就是穩(wěn)健設(shè)計的意圖和途徑。
展開 基于機(jī)器學(xué)習(xí)和代理模型的CAE參數(shù)優(yōu)化模型建立
通過訓(xùn)練集進(jìn)行支持向量機(jī)模型的訓(xùn)練，并通過測試集進(jìn)行對模型精度的測試。通常CAE分析優(yōu)化代理模型精度是使用R2值進(jìn)行評價的，一般要求大于95%。
這里定義一個計算R2值的函數(shù)。
綠色曲線為真實(shí)CAE計算值，紅色曲線點(diǎn)為支持向量機(jī)機(jī)器學(xué)習(xí)模型預(yù)測值。
綠色曲線為真實(shí)CAE計算值，紅色曲線點(diǎn)為貝葉斯嶺回歸機(jī)器學(xué)習(xí)模型預(yù)測值。
以上數(shù)據(jù)中第一列為真實(shí)CAE計算結(jié)果，第二列為AI模型預(yù)測結(jié)果，第三列為差異百分比。可以看出精度很高。
本例中實(shí)質(zhì)是在進(jìn)行回歸分析，因此回歸機(jī)器學(xué)習(xí)模型都可以用于本例中數(shù)據(jù)的處理。如多項(xiàng)式回歸、嶺回歸、決策樹回歸和神經(jīng)網(wǎng)絡(luò)回歸等。
三.代理模型（元模型）
傳統(tǒng)的代理模型包括徑向基函數(shù)、多項(xiàng)式、Kriging等等模型。本例中介紹Kriging代理模型生成。
定義Kriging代理模型生成函數(shù)，并通過訓(xùn)練集進(jìn)行代理模型生成。然后通過訓(xùn)練集進(jìn)行模型精度測試。
可以發(fā)現(xiàn)，在小數(shù)據(jù)集時傳統(tǒng)的代理模型要比機(jī)器學(xué)習(xí)模型精度高的多，而隨著數(shù)據(jù)集的增大時，機(jī)器學(xué)習(xí)模型的精度會隨著數(shù)據(jù)集的增大而提高。
為了進(jìn)行對比，使用優(yōu)化軟件進(jìn)行相關(guān)分析。本例中使用modefrontier進(jìn)行。通過將數(shù)據(jù)集按8:2分為訓(xùn)練集和測試集數(shù)據(jù)。
為了進(jìn)行對比，選擇Kriging模型。Modefrontier同樣有機(jī)器學(xué)習(xí)模型，如支持向量機(jī)回歸，K近鄰、多層感知機(jī)等等。這方面modefrontier較其他優(yōu)化軟件要先進(jìn)的多。包括數(shù)據(jù)處理等內(nèi)容也較其他優(yōu)化軟件更加豐富。
在測試集中進(jìn)行分析后，代理模型計算結(jié)果和真實(shí)結(jié)果偏差曲線。
展開 