回歸分析的案例
【技術】DTEmpower核心功能技術揭秘(7) - ROD基于回歸分析的異常點檢測技術
本系列的第七篇文章將繼續圍繞如何讓算法逼近模型上限的問題，介紹一種基于回歸分析的異常點檢測技術-Regression Based Outlier Detection(ROD)技術。不同于傳統的異常檢測算法，ROD方法是在模型訓練的基礎上后處理的進行異常點剔除的方法。所以，如何選擇合適的異常點剔除個數需要較多的測試，以尋找到最適用于當前測試集的模型。
該技術模塊集成于DTEmpower中的每個回歸算法節點，能夠幫助用戶在剔除“潛在異常點”的同時，提高了模型的精度和泛化能力。
圖1 DTEmpower中每個算法節點都集成有ROD異常點檢測功能，用戶只需要打開對應開關按鈕“activate_remove_malform”，并配置異常點剔除的個數“remove_malform_top_N”和迭代次數“remove_malform_times”，即可開啟算法節點的ROD異常點檢測功能
基于DTEmpower的ROD建模實戰
1. 船舶興波阻力回歸分析
① 數據集介紹：方案中采用的數據集是經SHIPFLOW軟件計算興波阻力的數據集，該數據集中含有5個輸入參數，目標參數是興波阻力eval_CWTWC。
② 建模方法：采用圖2所示的建模方法，對輸入和輸出之間的映射關系進行回歸分析建模。該方法采用了GBDT、Random Forest和ExtraTrees訓練算法進行回歸分析建模。然后對比在激活ROD和不激活ROD的情況下，模型的R2、MAE等指標。
展開 影響人工種植牙-骨界面應力分布規律因素的多元逐步回歸分析
方法：應用三維有限元和多元逐步回歸分析方法，對影響骨界面應力分布的一些因素，根據種植牙頸周骨內應力值進行了統計分析。結果：找出了影響種植牙周骨界面應力分布的主要因素，建立了回歸方程，揭示了不同影響因素與頸部應力分布規律間的數量關系。結論：影響種植牙周頸部骨內應力和大小的最主要因素是懸臂梁的存在、多個種植牙上部結構桿的連接及受力角度的改變。單個種植牙種植時，影響頸周應力集中是載荷角度的改變。
影響人工種植牙-骨界面應力分布規律因素的多元逐步回歸分析.pdf
應用數值模擬和回歸分析于熔覆路徑幾何形狀預測
激光金屬沉積（送粉）
以功能梯度材料制造復雜幾何形狀的產品
預混合不同的粉末，形成定制合金
零件尺寸精度高
仿真有助于粉末噴出速率和激光參數的工藝優化
激光金屬沉積（送粉）FLOW-3D AM仿真
案例研究：應用數值模擬和回歸分析于熔覆路徑幾何形狀預測
Shuhao Wang, et al. Multi-physics modeling and Gaussian process regression analysis of cladding track geometry for direct energy deposition, (2019), https://doi.org/10.1016/j.optlaseng.2019.105950.
本案例由東北大學 (Northeastern University) 與新加坡國立大學(National University of Singapore) 共同完成，研究目標在于了解工藝參數對于熔覆路徑幾何形狀的影響。
在此研究中，工藝參數包含了
Laser Power（激光功率）
Powder feed rate（送粉速率）
Scan speed（掃描速度）
本研究采用方差分析法(Analysis of variance, ANOVA)進行評估。
數據包含了
實驗
數值模擬
高斯過程回歸模型(Gauss process regression (GPR) model)
研究中采用了24組實驗數據以驗證仿真與GPR模型。
展開 【新聞】DTEmpower核心功能技術揭秘(5) - AIAgent模塊
圖3-2 針對風力機輪轂強度數據集，采用4種不同的算法算法對5個輸出變量進行回歸分析，比較其NRMSE指標可以發現基于AIAgent算法的模型在5個變量上的NRMSE誤差指標均在0.01以下，而相比于其他3種算法，其NRMSE指標值均在0.02以上，甚至更高。結合圖3-1，可以說明AIAgent在風力機輪轂數據集上的優越性
2. 船舶興波阻力回歸分析
① 數據集介紹：本方案中采用的數據集是經SHIPFLOW軟件計算興波阻力的數據集，該數據集輸入參數是draft、Halfbeam、Height、Loa、BulbLengthChange，目標參數是興波阻力eval_CWTWC。
② 建模方法：采用圖4所示的建模方法，對輸入和輸出之間的映射關系進行回歸分析建模。該方法采用了CART、Bagging、Adaboost 和AIAgent訓練算法進行回歸分析建模。然后對比不同模型的R2、MSE、MAPE等指標和在測試集上對目標變量的擬合誤差。
圖4 基于DTEmpower軟件平臺的船舶興波阻力回歸分析建模方案。其中AIAgent節點為本次實驗中用到的回歸訓練算法，無需做過多的節點屬性配置，用戶即可搭建完整的建模流程。
③ 實驗結果：通過表1和圖5不難發現，在船舶興波阻力數據集上，AIAgent訓練算法的R2、NRMSE、MAPE等指標均優于其他3種訓練算法，而在測試集上的擬合誤差圖也進一步說明了AIAgent訓練算法相較于普通訓練算法具有優越的泛化性能。
展開 
【技術】天洑數據建模實施案例集錦（3）- 風力機輪轂強度快速評估
其中ROD是一種基于回歸分析并搭配使用天洑軟件自研的tf_accuracy作為評價指標的異常點檢測方法。ROD在本數據集上的檢測結果如圖2所示；
圖2 ROD的異常點檢測結果，ROD成功的檢測出部分樣本的輸出變量量綱較小，發現數據集中存在樣本采樣不均衡的問題，并得到客戶認可
圖3 基于ROD的輪轂強度分析建模對比結果：試驗中使用了普通的異常點檢測算法和ROD進行異常點的篩選。對比結果表明了ROD在挖掘工業數據集中 “潛在異常點”的優秀性能
3. 建模結果分析：結合DTEmpower數據建模工具，并綜合使用ROD、MDA和AIAgent，通過層層遞進式的數據挖掘探索和建模，可使最終模型的R2指標達到0.94左右。
總結
本案例基于DTEmpower軟件平臺，采用數據建模的方式建立輪轂的載荷-應力代理模型，為輪轂的強度分析提供高精度的數據模型支撐。
實驗1使用 AIAgent智能訓練算法進行回歸分析，最終模型R2指標在0.99以上；實驗2在實驗1建模方法的基礎上綜合使用ROD、MDI/MDA和AIAgent等關鍵模塊，逐步迭代探索數據、特征和訓練算法，最終使模型的R2指標提高到0.94。
DTEmpower建模工具在風力機輪轂強度分析的建模實驗中提供了一站式的數據建模解決方案，平臺提供了強大的異常點檢測、特征工程、回歸分析等支撐技術，可以幫助用戶快速、便捷的構建高精度的數據模型。
應用價值
節省風力機輪轂強度分析的建模時間
采用數據訓練的方式得到輪轂載荷-應力的高精度代理模型，用戶只需給定相應的輸入條件，即可在毫秒級的時間內得到輸出。這與小時級別的基于有限元分析的輪轂強度的建模耗時相比，具有巨大優勢。
展開 固鉑輪胎：基于輪胎噪聲數據的車內輪胎噪聲品質預測
噪聲評估的常用方法往往都有缺點需要改進：
車內噪聲評審試驗通常是比較有效的噪聲評價方法，但是需要提前安排車輛、時間、全部輪胎等
傳統的單胎試驗方法能夠測試輪胎聲壓級，但是不能預測車內乘員對輪胎噪聲的感受
傳遞路徑分析技術往往需要很高的人力物力成本，才能對每輛車輛的車內輪胎噪聲進行量化研究
輪胎供應商必須對輪胎進行優化設計，使之滿足多種車輛平臺的要求。基于上述原因，需要開發一種新方法，利用測試數據，得到聲品質特性，并對不同車輛平臺的車內主觀感受進行預測。
圖1：車內輪胎噪聲分解和組合的分析流程
車內輪胎噪聲合成
車內輪胎空氣聲合成方法參考下列公式：
其中NRvehicle(f)為車輛的頻域聲學衰減率(Noise Reduction, dB)。本案例中，NR函數可以視為一種數字濾波器。Tire(t)為輪胎近場聲壓級，包括四種測試狀態（道路行駛輪胎噪聲、4輪轉轂輪胎噪聲、單轉轂輪胎噪聲和輪胎測試臺架）。從不同測試狀態的噪聲貢獻中抽取出特定成分，重新合成為車內輪胎噪聲，如圖2所示。
圖2：車內噪聲合成框圖
主觀評審與客觀測試
對幾種不同設計方案的輪胎進行車內聲品質主觀評審和客觀測試，運行工況為滑行和50英里/時勻速行駛。通過主觀評審與客觀測試的回歸分析，確定了與車內主觀評審結果相關的參數，如圖3所示。
圖3：主客觀回歸分析；藍色為評審試驗結果；紅色為原始噪聲的預測結果；綠色為合成噪聲的預測結果
結 論
本文的研究方法結合主觀評審與客觀參數結果的回歸分析結果，對車輛輪胎噪聲聲品質特性進行預測，是一種魯棒性很強的方法。除了本文提及的中型轎車以外，此方法也適用于其他車輛，包括卡車、大型轎車等。
展開 響應曲面法和DOE試驗設計
響應曲面法
響應曲面法與設計.pdf
響應曲面回歸分析法_一種新的回歸分析法在材料研究中的應用.pdf
響應曲面試驗設計法的教學嘗試.pdf
DOE試驗設計（上海交大的PPT）
DOE實驗設計方法介紹.zip
DOE實驗設計.zip
人工智能簡介及其目前如何被巖土工程師使用
在最好的情況下，這些系統可以處理和分析信息，從經驗中學習，并根據識別的模式做出決策。
我們經常聽到數據科學、機器學習和人工智能等話題被互換談論，但讓我們退后一步，解釋一下它們的真正含義。
數據科學描述了包括人工智能、機器學習等概念在內的整個領域。將數據科學視為“通用工程”，而該領域中的深度分支學科相當于各種工程學科。人工智能是數據科學中的一個概念，我們通過訓練計算機系統來展示推理和問題解決能力。機器學習是人工智能的一個概念，其中使用數據來尋找外推和預測。深度學習則是利用數據尋找更高層次含義的方法，最后神經網絡是實現這些概念之一所使用的底層技術。您還可以看到下面關于人工智能研究不同分支，通常一個人工智能產品會在其解決方案中包含一個或多個這些領域，它們彼此獨立，并且通常使用自己專門定制的技術來實現他們的解決方案。
以下詳細介紹了人工智能技術的不同類型及其不同的應用場景。許多人工智能公司使用基本回歸模型，這就是為什么有些公司可能在名稱中帶有“AI”，但表面上似乎沒有明顯使用任何人工智能技術的原因。通常情況下，這是因為這些公司在其應用程序中使用某種形式的線性回歸分析，盡管世界上只有少數幾家公司正在使用先進的回歸模型（例如神經網絡）和機器學習來構建他們的產品/服務（例如
信 用 卡欺詐檢測）。
探索建筑行業中的人工智能
如果我告訴你們大多數工程師已經在今天的工作中使用人工智能的基礎，該怎么辦？特別是在巖土工程中，我們經常依靠經驗數據來做出一些決策，對數據進行回歸分析。
在巖土工程中，回歸分析是一種統計技術，用于建立不同土壤特性和設計參數之間的關系。通過分析歷史數據和實驗結果，工程師可以開發回歸模型來預測特定結果或根據已知因素估計未知的土壤特性。
展開 質量管理 | 海克斯康數字化質量平臺助力巴奧米特提升質量監控預警及質量數據分析能力
02
解決方案
為進一步精細化質量管理，提升過程質量的監控預警能力、數據分析能力，挖掘QMS系統數據的應用廣度與深度，巴奧米特選擇與海克斯康深化合作，在金華工廠試點上線SPC及質量大數據分析模塊，將質量管控關口前移，以質量數據驅動過程質量的持續提升。
■質量數據聯通：在數字化質量平臺一期項目，已經建立起了統一的數據標準。通過海克斯康數字化質量平臺的柔性擴展，實現業務模塊的質量數據和質量監控預警與質量大數據分析模塊無縫聯通。
■質量監控預警：基于SPC八大判異準則，對關鍵質量特性進行實時監控，出現異常即進行實時通知，即時采取必要的處置措施，避免批量質量問題的發生。
■質量大數據分析：提供假設檢驗、方差分析、回歸分析、試驗設計（DOE）等統計分析技術，深入挖掘數據價值，實現數據驅動的質量持續改進。
03
項目收益
?通過質量數據監控與預警，此項目實現了對已經發生的質量異常進行實時監控，提高質量問題的處置效率；同時對潛在的質量問題進行預警，有效預防產品質量問題的發生。
? 此項目通過質量大數據分析技術的深入應用，利用試驗設計（DOE）、假設檢驗、回歸分析等統計建模技術，對機加工藝參數進行了改進優化和效果確認，提升了過程質量。
? 此項目極大提升了員工的數據分析技能與意識，顯著提升了質量數據的價值挖掘與應用能力。
展開 質量管理 | 數字化賦能：醫療器械企業質量管理新標桿
為進一步提升質量管理數字水平，補齊質量數據分析與應用的短板，完善QMS系統應用的廣度與深度，項目通過搭建SPC及質量大數據分析平臺，將質量管控關口前移，以質量數據驅動過程質量的持續提升。
解決
PART. 02
方案
■ 質量數據治理：從SPC與質量大數據分析應用的角度，參照AQDEF高級質量數據交互格式，策劃質量數據的采集內容，統一質量數據組織與格式，構建該公司的質量數據管理模型。通過系統集成技術，整合QMS、ERP等系統的相關質量數據，消除質量數據孤島，并通過數據接口，聯通SPC與質量大數據分析系統；
■ 構建SPC及質量大數據分析系統，包括可視化看板、MSA、SPC、質量監控預警等基礎功能，同時具備回歸分析、DOE等高階統計分析功能，滿足多樣化的質量數據分析需求；
■ 梳理關鍵質量與過程特性，應用SPC系統豐富的數據可視化與分析能力，針對輪廓尺寸、關鍵擰緊力矩等進行可視化監控與持續改進，實現以質量數據為主線的質量管理PDCA閉環。
項目
PART. 03
收益
■ 利用可視化、SPC等質量分析工具，實現了機加、裝配、熱處理、后處理等工藝過程的質量穩態監控和可視化預警，并通過持續改進，提高了生產過程能力指數Cpk。
■ 質量大數據分析技術的深入應用。通過利用試驗設計（DOE）、假設檢驗、回歸分析等統計建模技術，對機加工藝參數進行了改進優化和效果確認，提升了過程質量。
■ 極大的提升了員工的數據分析技能與意識，顯著的提升了質量數據的價值挖掘與應用能力；
■推動現場質量管理實現從“管結果”到“控過程”的轉變，打造質量管理標桿。
展開 【技術】DTEmpower核心功能技術揭秘(2) - AIOD智能異常點檢測技術
實驗過程和結果
① 實驗測試1-某工業數據集回歸分析
i. 數據集介紹：該數據集為天洑軟件的客戶提供的工業數據集，含有15維輸入變量V1、V2、...、V15和1維輸出變量EQV1，數據集中共含有2400個樣本，目標是建立輸入變量和輸出變量的回歸模型。
ii. 建模方法：采用圖4所示的建模方法，對輸入和輸出之間的映射關系進行建模。該方法采用了Random Forest隨機森林、GBDT（Gradient Boosting Decision Tree）梯度提升樹、ExtraTrees極限隨機樹和基于Bagging的BaggingDeFo共4種算法進行實驗。
圖4 針對某工業數據集，在DTEmpower軟件平臺上搭建回歸分析的建模方案。使用AIOD智能異常點檢測技術進行異常點檢測和刪除。DTEmpower提供了一站式的數據建模解決方案，通過簡單的節點拖拽即可搭建完整的建模流程
iii. 實驗結果：圖5和圖6的實驗結果表明，隨著AIOD智能異常點檢測技術檢測出的異常點被刪除，回歸模型的精度在不斷提高，其中ExtraTrees的R2指標提高到了0.9以上。這充分說明了AIOD智能異常點檢測技術在實際工業場景中的實用性。
圖5 隨著刪除異常點的個數從0依次增加到25/50/100/200，4種回歸模型的R2精度指標均在不斷提高
圖6 隨著刪除異常點的個數從0依次增加到25/50/100/200，4種回歸模型的NRMSE誤差指標在不斷下降。結合圖5，這充分說明了AIOD智能異常點檢測技術在實際工業場景中的實用性
② 實驗測試2-軸承剩余壽命預測
i. 數據集介紹：實驗選取全生命周期的軸承振動數據集 XJTU_SY_Bearing_Datasets。數據集含有3種工況、每種工況下5個軸承，共計15個軸承的全生命周期的振動數據。
ii.
展開 
《MATLAB工程數學——MATLAB實用指南系列》
目錄
第1篇 統計工具箱
第1章 統計工具箱簡介
第2章 概率論
第3章 樣本描述
第4章 方差分析
第5章 假設檢驗
第6章 回歸分析
第7章 非參數檢驗
第8章 多元方差分析
第9章 聚類分析
第10章 判別分析
第11章 主成分分析
第12章 因子分析
第13章 隱馬爾可夫模型
第14章 多維尺度分析
第15章 決策樹
第16章 統計過程控制
第17章 試驗設計
第18章 統計圖
第19章 文件輸入/輸出
第20章 統計演示
第2篇 優化工具箱
第21章 優化工具箱概述
第22章 無約束最優化問題
第23章 有約束最優化問題
第24章 二次規劃
第25章 0-1規劃
第26章 多目標規劃
第27章 最大最小化
第28章 半無限問題
第29章 最小二乘問題
第30章 方程求解
……
第3篇 偏微分方程數值解工具箱
第4篇 樣條工具箱
第5篇 曲線擬合工具箱
參考文獻
展開 《機械設備非平穩信號的故障診斷原理及應用》
目 錄
第一章 概論
1.1 機械監測診斷中的非平穩問題
1.2 非平穩信號處理
1.3 信號的正交分解和信息的獨立化提取
1.4 我國小波技術的應用現狀與進展
第二章 主分量自回歸譜分析與應用
2.1 機械摩擦、松動故障特征
2.2 主分量分析
2.3 主分量自回歸譜分析
2.4 正弦分量和有色噪聲的合理估計
2.5 工程應用
第三章 Wigner-Ville分布及其應用
3.1 Wigner-Vill分布的定義
3.2 Wigner-Vill分布的主要性質
3.3 Wigner-Vill分布的計算
3.4 交叉干擾項及其抑制
3.5 應用實例
第四章 非平穩信號處理方法的時頻分析及應用
4.1 短時傅里葉變換
4.2 小波變換
4.3 小波包信號分解與重構
4.4 工程應用
第五章 諧波小波原理及其工程應用
5.1 諧波小波的定義及正交性
5.2 Newland快速算法及時頻剖面圖
5.3 諧波小波濾波
5.4 諧波小波應用舉例
第六章 Laplace小波特征波形相關濾波
6.1 Laplace小波及其特性
6.2 Laplace小波及其函數相關濾波
6.3 應用實例
第七章 匹配追蹤信號分解及應用
7.1 信號展開與內積
7.2 匹配追蹤信號展開
7.3 匹配追蹤時頻表示與分布
7.4 機械系統沖擊響應特征提取
7.5 應用實例
第八章 小波包自回歸譜分析
8.1 基本原理
8.2 工程應用
第九章 小波包分解頻帶能量監測
9.1 基本原理
9.2 汽輪發電機組軸瓦松動故障診斷
9.3 高壓透平蒸汽激振分析
第十章 小波分形技術及其在非平穩故障診斷中的應用
10.1 小波分析與機械設備非平穩故障診斷中的分形問題
10.2 小波分形技術原理
10.3 振動信號小波分形盒維數計算
10.4 機械松動故障的小波分形分析
第十一章 基因小波及其在內燃機診斷中的應用
11.1
展開 聲振界第一玄學 | 為何聲音聽起來“不舒服”？
主觀分析與客觀分析
回答這個問題之前，我們需要先做兩件事：主觀分析（Subjective）和客觀分析（Objective）。
小A搞到10個樣機，每個樣機的工作噪聲略有不同。
他把各個噪聲分別記錄下來，利用高保真聲卡和耳機播放。同時，抽選幾個有代表性的用戶收聽聲音，并對聲音打分。10個樣本的得分分別處于0~10分之間。（我們稱之為主觀分析。）
小A接下來利用Reflex Core軟件和PATB軟件對10個樣本聲音進行批處理分析，得到了各個聲品質參數的海量數據結果。（我們稱之為客觀分析。）
最終答案——對應關系
現在要做的是找到主觀分析和客觀分析之間的對應關系（Correlation），這就是小A所問問題的最終答案。
PATB軟件可以搞定這個問題，它利用線性回歸方法，能夠自動創建線性回歸公式，比如Y=k1*x1+ k2*x2 + k3*x3+c。
PATB線性回歸分析
度娘告訴我們：“回歸分析（Regression Analysis）是確定兩種或兩種以上變量間相互依賴的定量關系的一種統計分析方法。如果因變量和自變量之間是線性關系，則成為線性回歸。”
通俗一點，以下圖為例，由x、y的12個對應數據，統計出一條直線，代表12個點的線性關系y=0.36*x。
主觀感受與聲品質參數
在聲品質分析中，可以從海量的客觀分析結果中選擇1~5個作為自變量x（或x1、x2、x3……），把主觀打分結果作為因變量y。通過線性回歸，得到y與x（或x1、x2、x3……）之間的線性關系k（或k1、k2、k3……）。
這樣就把人的主觀感受和聲品質參數結合起來。
展開 [MATLAB統計分析與應用：40個案例分析].謝中華.電子版
個人覺得是關于敘述MATLAB與回歸分析最好的一本書
