機器學習與參數優化的案例
基于機器學習和代理模型的CAE參數優化模型建立
靈敏度分析主要進行設計空間縮減，這與機器學習的降維的目標是一樣的。如機器學習的主成分分析，因子分析等。
通過建立的高精度的代理模型或機器學習模型可以進行后續的參數優化分析。
本文通過Python環境進行以上分析。主要包括以下內容：
1.通過doepy庫進行DOE創建，如拉丁方DOE；
2.通過pyNastran庫對nastran求解文件進行模型更新；
3.通過sklearn庫進行機器學習模型訓練，如支持向量機模型、貝葉斯嶺回歸模型；
4.通過smt庫進行代理模型創建，如Kriging模型；
5.通過SALib庫進行靈敏度分析。
展開 機器學習中的優化算法 ￥2
<p>1 機器學習中的優化算法</p><p><span style="color: rgb(62, 62, 62);">Optimization Algorithms in Machine Learning,機器學習中的優化算法。</span></p><p>優化算法是機器學習模型的支柱，因為它們使建模過程能夠從給定的數據集中學習。這些算法用于查找目標函數的最小值或最大值，該函數在機器學習上下文中代表誤差或損失。<strong><em>在本文中，討論了不同的優化方法以及它們在機器學習中的用途及其意義。</em></strong></p><p><strong>目錄</strong></p><ul><li>了解機器學習中的優化</li><li>機器學習中的優化算法類型</li><li class="ql-indent-1">1. 一階算法</li><li class="ql-indent-1">2. 二階算法</li><li>針對特定機器學習任務的優化</li><li class="ql-indent-1">1. 分類任務：Logistic 回歸優化</li><li class="ql-indent-1">2. 回歸任務：線性回歸優化</li><li>優化算法的挑戰和局限性</li></ul><p><strong>了解機器學習中的優化</strong></p><p>優化是從各種可用的可行解決方案中選擇最佳解決方案的過程。換句話說，優化可以定義為獲得給定函數的最佳值或最小值的一種方式。在大多數問題中，目標函數 f（x） 是受約束的，目的是確定最小化或最大化 f（x） 的 ？x 值。
展開 低壓汽輪機級的機器學習優化
但與處理從互聯網上抓取的 JPEG 或文本片段不同，CFD 計算可能需要數小時，因此我們需要機器學習算法以盡可能少的輸入提供結果 - 我們談論的是具有數十個輸入的模型，而不是數十億個參數。話雖如此，尋找最佳設計的自動化、人工智能/機器學習加速流程仍然比手動調整所有內容快幾個數量級。
自動化設計優化取代了手動對 CAD 模型和流動條件進行小幅修改以尋求更好設計的費力過程。與許多其他技術一樣，它不會取代工程師，而是讓工程師能夠騰出時間來完成其他任務。在這種情況下，設計工程師的重點和精力從設置和運行模擬轉移到理解和分析設計空間。由于 CFD 計算非常耗時，因此開發快速找到最佳值的高效設計空間探索方法對于使自動化設計優化成為渦輪機械部件設計的可行技術至關重要。在本文中，
該優化項目的目標是通過新設計對該級進行改造，以提高系統的功率。由于情況是我們正在用新的動力改造舊機器，因此原始機器的幾何形狀提出了新設計中必須遵守的基本約束和要求。因此，定子腔、軸承和噴嘴葉片是固定的，而葉輪葉片和轉子尖端泄漏腔是優化的目標。
設計空間概覽
Cadence 的 Fidelity 軟件套件包括與 Concepts NREC 合作的設計工具 Fine Agile，這是一種用于渦輪機械的設計、分析和幾何生成工具。使用 Fine Agile，我們可以適當地參數化設計空間并施加約束。表 1 顯示了如何對葉尖泄漏腔進行參數化，而表 2 顯示了葉片形狀的值。優化運行期間總共調整了八個參數。
展開 [分析示例] 通過機器學習估計 χ 參數
從兩個分子的描述符中創建特征，學習與相互作用參數 χ 的關系
目標和方法
使用 J-OCTA 機器學習功能（MI-Suite）來估計 χ 參數。使用的數據來自 Flory-Huggins Chi 數據庫。獲取的數據包括兩個化合物 A 和 B 的名稱以及它們之間的 χ 參數值。數據量為 263。學習/預測 χ 參數的過程如下：
χ 參數學習/預測過程
1. 從公共化合物數據庫 PubChem 獲取每種化合物的 SMILES 表示法。 使用 MI-Suite 的數據獲取功能 DB-Explorer 獲取。使用 MI-Suite 的數據采集功能 DB-Explorer 獲取數據。只有同時獲得 A 和 B 的 SMILES 表達式的化合物對（169 個）才會被使用。
2. 使用描述符計算功能 ChemDC 計算每個化合物的描述符值和 AutoCorr2D。
3. 根據原始數據中對化合物的描述，將計算出的描述符值進行混合，以創建單一特征。
4. 使用的混合方案是定量地理學中使用的混合方案，因為描述符（AutoCorr2D）可視為空間自相關量。
5. 訓練以混合計算的特征為輸入值，以每對化合物的 χ 參數為目標值。
學習的設置如下：
l 在 MI-Suite 的學習功能所支持的學習方法中，我們使用了 XGBoost，這是一種基于提升的學習方法。XGBoost 的超參數設置基于 GP（高斯過程），以獲得最佳參數設置。
l 離群點的去除是在第 90 個百分點（兩側）進行的。
l 在訓練過程中，訓練集和測試集的數據比例為 8:2。
結果
以下是訓練結果。
對于通過訓練獲得的預測模型（即學得的模型），使用訓練集時的預測準確率為 R^2=0.937，而使用測試集時的預測準確率為 R^2=0.778。
展開 
基于機器學習與可移動變形組件法的實時拓撲優化研究
結構拓撲優化可以幫助工程師在沒有先驗知識的情況下，獲得具有創新性的產品/結構設計，目前已成為了數字化設計平臺不可缺少的重要支撐工具。而實現實時拓撲優化設計（即在給定設計區域，外荷載以及約束條件后即可馬上得到最優結構形式）更是工程師們長久追尋的終極夢想。近日，大連理工大學工程力學系郭旭教授團隊將機器學習與基于可移動變形組件(MMC)的拓撲優化方法相結合，利用顯式的MMC方法生成數據集，通過機器學習中的SVR和KNN模型建立起最優結構設計參數與外載荷之間的映射關系，對實現實時拓撲優化設計開展了探索性研究。由于MMC方法以結構顯式幾何參數作為設計變量，優化問題設計變量極少，因此相比已有方法（如基于像素學習的方法），該方法大大減少了機器學習訓練集的數據量及相應參數空間的維度，并且通過學習過程得到的"知識"有助于建立最優結構與對應載荷的工程直覺。目前相關論文已被期刊《Journal of Applied Mechanics-Transactions of the ASME》接收。
（原文下載鏈接: https://www.researchgate.net/publication/327140607_Machine_Learning_Driven_Real_Time_Topology_Optimization_under_Moving_Morphable_Component_MMC Bas Based_Framework）
文章全文如下:
來源：結構優化理論與應用 作者劉暢
展開 設計仿真 | 基于Adams與Odyssee機器學習的超跑變速箱機構優化方案
優化變速箱控制系統中的部件相互影響
我們使用虛擬原型來識別一系列組件公差范圍的靈敏度。所討論的組件是設計為變速箱控制系統一部分的運動機構的運動鏈。
當涉及到提高高性能跑車的品質時，控制機構的平穩、精確運動和變速箱的換檔速度非常重要。
圖1顯示了兩個組件。黃色部件將藍色部件引向精確位置，以獲得檔位速度位置。由此產生的運動是由于換檔控制系統的子組件造成的，該子組件是由九個部件組成的運動鏈，它們之間有相對運動。
圖1. 部分和全部遮擋，以及預期軌跡
理想情況下，從第七檔換到第六檔時，藍色部件應遵循預期的軌跡。
如果藍色部件推過導軌的尖端，駕駛員可以繼續向六檔移動。這種現象被稱為“部分阻斷”。
但如果駕駛員無法將換擋桿從七檔移動到六檔，這被稱為“完全遮擋”。這是最糟糕的結果。要完成換檔，駕駛員必須稍微向后移動，以防止黃色部件阻擋藍色部件。
通過Adams和ODYSSEE CAE增強功能響應
戰略機制分析
正確的設計考慮，使運動鏈部件的公差范圍正確，對于確保運動不會導致完全遮擋至關重要。
需要一個通用的分析程序來完善運動機制，如圖2所示。
圖2. 一般分析流程
Adams軟件使我們能夠了解結構運動機制，定義設計目標，并使用Adams/Insight運行DOE研究。之后生成一個數據的矩陣，可以用作ODYSSEE CAE的輸入。ODYSSEE CAE可用于從數據中學習，并根據設計規范預測新設計變量的新結果。
此外，如果新的變量范圍包含在Adams/Insight分析中先前選擇的范圍內，則可以在系統的最后一個分析階段分配新的變量區間。一旦實現了ODYSSEE CAE的靈敏度結果，就可以創建具有新可變范圍的新DOE，以更低的成本獲得更好的功能響應解決方案。
展開 設計仿真 | 應用Marc和機器學習軟件進行非線性模型優化
本文主要以金屬成形過程的非線性幾何優化模擬為例，介紹人工智能（AI）/機器學習（ML）工具在非線性優化中的應用方法。
對于很多非線性問題，當采用有限元模型的直接優化時，在計算上會需要很多時間，導致成本增高，采用ML技術來替代一些傳統的優化方法能顯著提高效率。ML的主要思想是用訓練數據構建預測模型，直接使用預測模型進行在線優化。由于預測模型的計算工作量通常比全有限元模型低得多，因此在線優化問題通常可以很快得到解決。
為了滿足Marc/Mentat用戶對人工智能（AI）和機器學習（ML）的需求，從Marc2021.4版本開始，在前處理器Mentat中引入了一個新的AI/ML工具彈出菜單，為Marc/Mentat用戶在ODYSSEE等軟件工具中部署AI/ML提供了一種有效的方式。
ML技術的使用大致可以分為兩個階段：離線數據訓練和在線操作（包括參數研究、預測和設計優化）。在線操作依賴于離線數據訓練，這需要足夠的數據來生成可靠的預測模型。為了獲得這種離線數據，用戶可以使用有限元模型準備和模擬許多數值實驗，這個過程通常被稱為實驗設計（DOE）。Marc/Mentat集成的AI/ML工具旨在通過提供ODYSSEE和Mentat之間的數據格式兼容性，以及以串行或并行模式啟動和監測仿真實驗的工具，簡化DOE的設置和執行。
為了使用ML技術解決此優化問題，在Marc/Mentat2023.3以前的版本需要執行以下步驟：
■ 離線數據準備：
? 生成各參數的DOE變化 。
? 使用AI/ML工具準備DOE作業。
? 以并行模式運行DOE作業。
? 提取并導出DOE結果。
? 訓練并獲得預測模型。
■ 在線操作：
? 新參數響應快速預測。
? 解決優化問題。
展開 設計仿真 | 應用Marc和機器學習軟件進行非線性模型優化
本文主要以金屬成形過程的非線性幾何優化模擬為例，介紹人工智能（AI）/機器學習（ML）工具在非線性優化中的應用方法。
對于很多非線性問題，當采用有限元模型的直接優化時，在計算上會需要很多時間，導致成本增高，采用ML技術來替代一些傳統的優化方法能顯著提高效率。ML的主要思想是用訓練數據構建預測模型，直接使用預測模型進行在線優化。由于預測模型的計算工作量通常比全有限元模型低得多，因此在線優化問題通常可以很快得到解決。
為了滿足Marc/Mentat用戶對人工智能（AI）和機器學習（ML）的需求，從Marc2021.4版本開始，在前處理器Mentat中引入了一個新的AI/ML工具彈出菜單，為Marc/Mentat用戶在ODYSSEE等軟件工具中部署AI/ML提供了一種有效的方式。
ML技術的使用大致可以分為兩個階段：離線數據訓練和在線操作（包括參數研究、預測和設計優化）。在線操作依賴于離線數據訓練，這需要足夠的數據來生成可靠的預測模型。為了獲得這種離線數據，用戶可以使用有限元模型準備和模擬許多數值實驗，這個過程通常被稱為實驗設計（DOE）。Marc/Mentat集成的AI/ML工具旨在通過提供ODYSSEE和Mentat之間的數據格式兼容性，以及以串行或并行模式啟動和監測仿真實驗的工具，簡化DOE的設置和執行。
為了使用ML技術解決此優化問題，在Marc/Mentat2023.3以前的版本需要執行以下步驟：
■ 離線數據準備：
? 生成各參數的DOE變化 。
? 使用AI/ML工具準備DOE作業。
? 以并行模式運行DOE作業。
? 提取并導出DOE結果。
? 訓練并獲得預測模型。
■ 在線操作：
? 新參數響應快速預測。
? 解決優化問題。
展開 清華大學參數化工作營機器臂組利用 solidThinking Inspire 實現大型橋型構筑物優化
秉承著“對于傳統材料的回歸與工業化產品的應用是數字技術真正走入歷 史舞臺的切入點”的理念，清華參數化工作營機械臂組成立了一次為期 9 天的工 作坊，從清華土木博士到美國高中生，從互不相識到精誠合作，9 名組員、4 名助教在導師于雷博士的指導下日夜兼程，利用 Altair 公司 solidThingking Inspire 軟件，最終成功實現對一座大型橋型構筑物的優化和實地搭建。
多角度展示橋型構筑物
這是清華機械臂建造組在“筑巢機器人”、“機械臂加工空間角完成 RECIPROCAL 結構的中型拱”之后的第三個作品。在 Altair 公司 solidThinking Inspire 軟件的協助下，該組運用有限元分析的方法來優化一座橋型構筑物，在盡可能減輕橋的自重的情況下將得到結果通過逆向工程優化為樹枝狀結構，通過數字化手段在交點處由計算機自動生成合適的榫卯，接下來軟件就會同時輸出一 套適合于機械臂加工的路徑，然后機械臂通過對木材的削銑完成對不同空間角榫卯的加工，之后再人工將各榫卯節點組成構件通過紙管連接，進行最后的組裝。
展開 機器學習 遷移學習
1.深入了解神經網絡的組成、訓練和實現，掌握深度空間特征分布等關鍵概念；
2.掌握遷移學習的思想與基本形式，了解傳統遷移學習的基本方法，對比各種方法的優缺點；
3.握深度遷移學習的思想與組成模塊，學習深度遷移學習的各種方法；
4.掌握深度遷移學習的網絡結構設計、目標函數設計的前沿方法，了解遷移學習在PDA、Source-Free DA上的應用；
5.掌握深度遷移學習在語義分割、目標檢測、行人重識別等任務中的應用，學習圖像/視頻風格遷移方法，了解風格遷移在實際生活中的應用；
6.掌握小樣本學習、Transformer等前沿方法和基本思想，了解小樣本學習、Transformer等在實際場景下的應用；
7.通過實操掌握圖片視頻風格遷移，自動駕駛中的跨域語義分割，目標檢測。
老師：來自中國科學院計算技術研究所、清華大學、北京理工大學等科研機構和大學的高級專家，擁有豐富的科研及工程技術經驗，長期從事深度學習、遷移學習、計算機視覺等領域的教學與研究工作。
人員：各省市、自治區從事人工智能、機器學習、深度學習、遷移學習、計算機視覺、自然語言處理、語音識別、圖像處理、小樣本分析等領域相關的企事業單位技術骨干、科研院所研究人員和大專院校相關專業教學人員及在校研究生等相關人員，以及深度遷移學習廣大愛好者。
一、機器學習簡介與經典機器學習算法介紹
1.什么是機器學習？
2.機器學習框架與基本組成
3.機器學習的訓練步驟
4.機器學習問題的分類
5.經典機器學習算法介紹
目標：機器學習是人工智能的重要技術之一，詳細了解機器學習的原理、機制和方法，為學習深度學習與遷移學習打下堅實的基礎。
展開 機器學習與深度學習 ￥9.9
以下內容關于機器學習與深度學習的入門資料。
機器學習與深度學習簡述和工程案例展示
機器學習(Machine Learning)，是一門人工智能的科學，是通過用算法解析數據，不斷學習，對世界中發生的事做出判斷和預測的一項技術。
深度學習(Deep Learning)，是用于建立、模擬人腦進行分析學習的神經網絡，并模仿人腦的機制來解釋數據的一種機器學習技術。
人工智能、機器學習與深度學習的關系
工程應用中 機器學習與深度學習的主要區別有以下幾方面：
機器學習典型過程：
（1）首先在計算機中存儲歷史的數據。
（2）將這些數據通過機器學習算法進行處理，這個過程在機器學習中叫做“訓練”。
（3）處理的結果可以被我們用來對新的數據進行預測，這個結果一般稱之為“模型”。
（4）對新數據的預測過程在機器學習中叫做“預測”。
“訓練”與“預測”是機器學習的兩個過程，“模型”則是過程的中間輸出結果，“訓練”產生“模型”，“模型”指導 “預測”。
機器學習與人類思考的類比
深度學習的主要差異：
深度學習不需要我們去提取特征，而是自動地對數據進行篩選，自動地提取數據高維特征。如下圖所示，深度學習與機器學習中的監督學習一般方法相比，少了特征工程，節約了工程師們大量工作時間。
展開 關于“人工智能與機器學習”python-深度學習
Python 機器學習與人工智能深度學習案例實踐——課程大綱（配備機器學習教材）
第
一
節
Python與TensorFlow
1．機器學習與數據挖掘的基本概念、聯系及區別
2．機器學習和大數據、人工智能及其他學科領域的關系
3．機器學習和深度學習的關系
4．機器學習方法的分類及本課程內容
（1）有監督學習：分類、回歸
（2）無監督學習：聚類
（3）強化學習
（4）半監督學習
5．機器學習應用的一般流程
（1）對象的表示
（2）訓練/學習
（3）測試/應用
6．機器學習的典型應用案例
（1）機器學習在自然語言理解領域的應用(機器翻譯、智能問答)
（2）機器學習在多媒體處理領域的應用
(人臉識別、視頻分析)
（3）機器學習在語音處理領域的應用(語
音識別、語音合成)
（4）機器學習在網絡安全領域的應用(入
侵檢測、惡意軟件識別)
（5）機器學習在互聯網上的應用(搜索引
擎、計算廣告、推薦系統)
代碼和案例實踐：
1.卷積與(指數)移動平均線
2.股票數據分析
3.缺失數據的處理
4.環境數據異常檢測和分析
第
二
節
回歸分析
1．線性回歸
（1）回歸的基本概念
（2）線性回歸
（3）對率(Logistic)回歸
（4）嶺(Ridge)回歸
（5）Lasso 回歸
（6）Elastic Net
2．Logistic/Softmax回歸
展開 MATLAB數據分析、圖形圖像處理、機器學習與深度學習培訓班
知識點35：數值微積分 知識點36：解微分方程
知識點37：插值 知識點38：擬合
知識點39：線性規劃 知識點40：最大值最小化
知識點41：有約束的非線性優化
六：智能優化和機器學習
第十六講 智能優化技術
第十七講 有監督模式分類
第十八講 無監督機器學習
知識點42：粒子群優化 知識點43：遺傳算法
知識點44：蟻群算法 知識點45：最小二乘
知識點46：支持向量機 知識點47：集成分類
知識點48：無監督降維 知識點49：k-means聚類
知識點50：譜聚類 機器學習經典案例
七：神經網絡和深度學習
第十九講 卷積神經網絡
第二十講 深度學習
知識點51：機器學習和神經網絡
知識點52：訓練網絡和后向傳播
知識點53：自動特征提取 知識點54：深度學習技術
知識點55：卷積神經網絡
知識點56：卷積神經網絡做手寫體數字識別
八：圖像處理和高級編程技術
第二十一講 圖形界面設計
第二十二講 圖像處理
第二十三講 程序優化
知識點57：GUI使用方法 知識點58：GUI例題講解
知識點59：讀寫圖像文件 知識點60：讀寫視頻文件
知識點61：圖像降噪 知識點62：灰度均衡
知識點63：程序效率 知識點64：矢量化和矩陣化
知識點65：空間換時間 知識點66：處理異常情況
九：經驗分享與問題答疑
第二十四講 答疑與學習平臺
1、針對學員面對的實踐問題展開討論、方案建議。
展開 人工智能的三個分支：認知、機器學習、深度學習
c) 部署
機器學習需要從計算機科學實驗室進入到軟件當中。越來越多像CRM、Marketing、ERP等的供應商，正在提高嵌入式機器學習或與提供它的服務緊密結合的能力。
◆◆ ◆
3) 深度學習(Deep Learning)
如果機器學習是前沿的，那么深度學習則是尖端的。這是一種你會把它送去參加智力問答的AI。它將大數據和無監督算法的分析相結合。它的應用通常圍繞著龐大的未標記數據集，這些數據集需要結構化成互聯的群集。深度學習的這種靈感完全來自于我們大腦中的神經網絡，因此可恰當地稱其為人工神經網絡。
深度學習是許多現代語音和圖像識別方法的基礎，并且與以往提供的非學習方法相比，隨著時間的推移具有更高的準確度。
希望在未來，深度學習AI可以自主回答客戶的咨詢，并通過聊天或電子郵件完成訂單。 或者它們可以基于其巨大的數據池在建議新產品和規格上幫助營銷。或者也許有一天他們可以成為工作場所里的全方位助理，完全模糊機器人和人類之間的界限。
人工智能通過在其上使用的數據規模來生存和改進，這意味著不但我們能夠隨著時間的推移看到更好的人工智能，而且它們的發展將會圍繞著那些可以挖掘最大數據集的組織。
來源于網絡
展開 