貝葉斯優化的案例
常用參數自動標定算法總結（單純形，遺傳算法，貝葉斯優化算法，粒子群算法等）
在本推文中介紹四類常用參數自動標定方案，分別是單純形方案，粒子群方案，遺傳算法方案，以及貝葉斯優化ego方案。
單純形方案實現最簡單，適用于少參數，更窄的初始區間
粒子群方案，遺傳算法方案適用于多參數更大的空間適合全局搜索
ego方案相比于其余三類方案的優勢體現為
EGO使用代理模型（如高斯過程回歸）來預測目標函數，極大減少了實際函數評估次數。
EGO在每一步都智能選擇下一個最值得評估的位置（如使用EI, Expected Improvement）。
這種探索與利用的動態平衡比GA中盲目變異與交叉更具理論指導。
由于EGO最大化信息利用率，在樣本數量極少的情況下表現優于GA。
當樣本數量少，且有約束優化時適合使用ego方法。例如在評估晶體塑性模型參數時
不過這些優化算法經常容易陷入局部最優，即優化算法在搜索過程中被某個“看起來很好”的解吸引，不斷圍繞它進行微小改進，最終卡在“局部低谷”而不是“全局最低點”。
一個更合理的做法是：使用粒子群和遺傳算法在全局進行初始搜索，使用ego回歸分析進行特定區間的優化，最后使用NM方案進行小區間尋找，如果陷入局部最優解，引入全局擾動方案或者爆炸方法跳出局部區間重新搜索即可。
基于該思路編寫對應的程序，實現參數的自動標定過程：
這里實現對vpsc模型的復雜參數自動標定；
這里使用相對復雜的鎂合金為例，考慮3組滑移+一組孿晶，每個系統考慮tau_0,tau_s,h_0,一共12個待標定參數給定參數區間如下
設置最大迭代次數為2000次，初始優化來自粒子群算法，依次是遺傳算法單純形算法和貝葉斯優化算法。
展開 【CFD專欄】基于CFD仿真、元建模和貝葉斯推斷方法的離心泵優化設計
采用元模型和貝葉斯推斷等技術方法進行葉輪設計優化，其中，元模型基于拉丁超立方抽樣法（LHS）數據庫，通過高斯過程回歸（GPR）構建。研究工作最終改善了高流速工況下的空化問題，優化方案在設計點處揚程提高了25%，在操作范圍的其他工況點處提升更高。
面向預期功能安全的決策規劃系統仿真測試方法
若使用代理模型
，則使用各種機器學習方法進行模型建立，并利用貝葉斯優化思想設計算法，開展基于該代理模型的采樣。
「成本函數」
對安全分析而言，直接的成本函數價值一般是危險或風險（如最常用的TTC、THW等）；
從計算的空間范圍上看，比較常見的是一維（沿車輛行駛方向）和二維（道路空間內）的度量方式；
算法的操作層面上，還會需要考慮對得到的無效場景進行自動化合理排除的方法。
其中，以貝葉斯優化算法作為關鍵場景的搜索算法，做一示例，偽代碼如下圖所示：
以一個標準化測試函數（Hoelder Table）為例，初步分析一下采用貝葉斯優化搜索方法的可行性與潛力，即是否符合上述提出的覆蓋率和效率的兩大原則。
目標函數值在搜索空間上的分布如圖9所示，圖中用紅色線框標出了目標關鍵場景占據的子空間（分別在四個角的位置附近）。真值結果是通過細粒度的均勻柵格掃掠測試獲得的，用于作為基準對隨機采樣和貝葉斯優化搜索兩種方法進行對比。
圖9. Hoelder Table測試任務的真值
貝葉斯優化（Bayesian Optimization, BO）和隨機采樣（Random）在該問題上的表現如圖10所示。為了降低結果的隨機性，對于每種算法我們都重復進行了10次實驗，圖中展示了10次試驗的最小值、最大值以及平均值。以90%覆蓋率作為目標，貝葉斯優化方法相比隨機采樣可實現約10倍的加速效果（50000:5000），并且重復實驗之間的方差較小，優化算法的穩定性更好。
圖10.
展開 面向預期功能安全的決策規劃系統仿真測試方法
若使用代理模型
，則使用各種機器學習方法進行模型建立，并利用貝葉斯優化思想設計算法，開展基于該代理模型的采樣。
「成本函數」
對安全分析而言，直接的成本函數價值一般是危險或風險（如最常用的TTC、THW等）；
從計算的空間范圍上看，比較常見的是一維（沿車輛行駛方向）和二維（道路空間內）的度量方式；
算法的操作層面上，還會需要考慮對得到的無效場景進行自動化合理排除的方法。
其中，以貝葉斯優化算法作為關鍵場景的搜索算法，做一示例，偽代碼如下圖所示：
以一個標準化測試函數（Hoelder Table）為例，初步分析一下采用貝葉斯優化搜索方法的可行性與潛力，即是否符合上述提出的覆蓋率和效率的兩大原則。
目標函數值在搜索空間上的分布如圖9所示，圖中用紅色線框標出了目標關鍵場景占據的子空間（分別在四個角的位置附近）。真值結果是通過細粒度的均勻柵格掃掠測試獲得的，用于作為基準對隨機采樣和貝葉斯優化搜索兩種方法進行對比。
圖9. Hoelder Table測試任務的真值
貝葉斯優化（Bayesian Optimization, BO）和隨機采樣（Random）在該問題上的表現如圖10所示。為了降低結果的隨機性，對于每種算法我們都重復進行了10次實驗，圖中展示了10次試驗的最小值、最大值以及平均值。以90%覆蓋率作為目標，貝葉斯優化方法相比隨機采樣可實現約10倍的加速效果（50000:5000），并且重復實驗之間的方差較小，優化算法的穩定性更好。
圖10.
展開 
康謀方案 | 基于AI自適應迭代的邊緣場景探索方案
1、貝葉斯優化（BO）：通過學習優化的智能測試
貝葉斯優化將全量搜索場景的方法轉換成由數據驅動的智能方案，與隨機取樣等方案不同：
（1）BO方案將會預測最有可能暴露失敗風險的新測試用例。
（2）BO方案采用替代模型Surrogate model，比如采用高斯過程Gaussian Processes，然后通過已有的數據來逼近測試場景參數與關鍵性指標的映射目標函數。
（3）然后結合采集函數Acquisition Function，比如通過下置信屆LCB或者期望改進EI等方法，有效平衡“探索”和“利用”之間的取舍，在有限次數測試下，有效找到目標函數的最優解。
2、映射目標函數之關鍵性指標
貝葉斯優化依靠關鍵性指標（KPI）決定了是否為目標場景，aiFab中常見的KPI包括：
（1）碰撞時間TTC：決定車輛距離碰撞有多近
（2）入侵后時間PET：交通沖突后剩余時間間隔
（3）速度變化Delta-v：車輛碰撞過程中的速度變化
通過不同的KPI更新模型，我們的泛化方案能夠將計算資源集中在最需要的地方，從而更高效的發現關鍵邊緣場景，而不是在常規場景上耗費時間。
3、仿真記錄演示
為說明aiFab自適應泛化場景，以下通過一系列仿真記錄來演示自車在不同臨界指標下左轉的場景，每次迭代將會始終關注更為嚴苛的邊緣案例，以確保能夠發現潛在風險。
原始記錄：
速度變化（Delta-v）：當Ego車輛與 Exo1車輛進行正面高速碰撞時，通過最大化它們的速度，可以使碰撞時的 Delta-v達到最大，從而增加碰撞的嚴重性。
入侵后時間（PET）：用于評估潛在碰撞或接近碰撞的風險，即那些可能由于交通流或信號變化而產生的高風險情形。
展開 Zemax案例 | 基于Zemax相機多自由度主動對準技術研究
現有技術可分為三類：
像差分析法：基于節點像差理論，建立誤差與波前像差的解析關系，需高精度波前測量，設備成本高昂[2]；
數據驅動法：通過深度學習、靈敏度矩陣建立數值映射[3]，依賴大量樣本與復雜訓練，工程落地門檻高；
搜索優化法：構建評價函數引導優化，無需復雜建模，但遍歷搜索耗時極長，多自由度場景下效率暴跌。
行業痛點高度集中：高精度對準與高效率量產難以兼得，專用設備依賴度高，復雜光學系統適配性差。突破這一困境，亟需一套簡化裝置、高效算法、精準仿真支撐的一體化解決方案。
基于MTF的順序式多自由度主動對準方法核心原理
本研究創新性提出以MTF為核心評價指標的三段式順序對準流程，無需波前傳感器，僅通過傾斜邊緣圖像即可完成全流程對準，兼顧精度、速度與工程實用性，整體方案如圖1所示。
圖1 所提主動對準方法總覽。
（a）MTF計算流程（b）離焦測量與補償（c）順序式主動對準流程
（1）靈敏度矩陣對準：快速校正透鏡組偏心
研究突破傳統波前像差靈敏度矩陣的局限，基于離焦MTF曲線構建新型靈敏度模型。通過高斯函數擬合離焦MTF曲線，提取峰值位置z?參數，該參數直接表征場曲與像散大小。
在小誤差假設下，建立z?與透鏡組偏心的線性關系，構建靈敏度矩陣：
式中：為各視場z?與理想焦移的差值，Si,j為一階靈敏度矩陣，ΔD為系統誤差量?；趜?參數定義損失函數，采用BFGS算法極小化損失，快速校正透鏡組偏心，初步消除場曲與像散，全程無需復雜波前測量，數據采集與標定僅需3分鐘。
（2）貝葉斯優化對準：精準優化透鏡組傾斜
透鏡組傾斜靈敏度與內部軸向誤差強耦合，線性度差，傳統靈敏度方法失效。
展開 自動機器學習綜述
微軟的自動ML利用協同過濾和貝葉斯優化來搜索機器學習的空間。Microsoft指的是數據預處理步驟、學習算法和超參數配置的組合。在上面討論的許多模型選擇技術中，ML學習過程中自動化的典型部分是超參數設置。微軟的研究人員發現，只調優超參數有時可以與隨機搜索相媲美，因此理想情況下，整個端到端流程應該是自動化的。
谷歌也在這個領域進行了創新，推出了谷歌云自動化。在Cloud AutoML谷歌中，通過只從用戶獲取標記數據并自動構建和訓練算法，數據科學家能夠訓練計算機視覺、自然語言處理和翻譯的模型。
Google CloudML
TPOT是用于自動化機器學習的Python庫，它利用遺傳編程優化機器學習管道。ML管道包括數據清理、特征選擇、特征預處理、特征構建、模型選擇和參數優化。TPOT庫利用了scikit-learn中可用的機器學習庫。
TPOT Machine Learning Pipeline
Amazon Sage Maker提供了建模、培訓和部署的能力。它可以自動調整算法，為了做到這一點，它使用了一種叫做貝葉斯優化的技術。
HyperDrive是微軟的產品，是為全面的超參數探索而建立的。超參數搜索空間可以用隨機搜索、網格搜索或貝葉斯優化來覆蓋。它實現了一個調度器列表，您可以選擇通過聯合優化質量和成本來提前終止探索階段。
神經網絡結構選擇
在機器學習的世界中，最乏味的任務之一就是設計和構建神經網絡架構。
展開 AI科普系列——機器學習 = 模型+策略+算法
引入評估策略，便可將統計學習問題轉化為了最優化問題。最優化問題是借助計算機計算能力最常見的計算任務密集型工作。
Factor.3 學習算法：解決最優化
問題的優化算法
流程進行到Factor.2，我們已經將統計學習問題轉化成一個具體的最優化問題（最小化損失函數或最大化模型性能評分）。如果最優化問題有顯式的解析解，這個最優化問題就比較簡單。但通常解析解不存在，這就需要用數值計算的方法求解，如常見的梯度下降方法。如何保證找到全局最優解，并使求解的過程非常高效，就成為一個重要問題。常見的梯度下降、網格搜索Grid-Search、貝葉斯優化等優化學習算法適用于不同應用場景，同樣的，這一方向也是近年來AutoML自動化機器學習著重研究的領域。
展開 orange使用指南（樸素貝葉斯）
摘要：本文演示orange的貝葉斯使用方法
01 概覽
說明：
1 訓練集（軟件會自動給你的數據確定type和role，但往往不是你想要的，需要收到修改）
2 樸素貝葉斯（居然沒有任何參數設置）
3 測試集（最后一行必須skip，不然無法預測）
04 預測結果（尚算準確）
05 筆者無法實現得分分析，這是筆者使用orange，總是遇到的問題，分類問題，無法評分，不會操作。
基于變分貝葉斯的數據聚類程序 ￥200
自主原創的一個創新性高的matlab程序，實現了數據的聚類過程，主要使用了k-means算法和Gaussian Mixture Model (GMM) 結合 Expectation-Maximization (EM) 算法，以及Variational Bayes EM (VBEM) 算法，程序我附帶了非常詳細的注釋，絕對能看懂。
正態分布與貝葉斯-連續樣本
看貝葉斯的時候公式比較復雜，先驗概率，后驗概率還有似然概率，還有邊緣概率還是有點不友好，這里主要從一個簡單的例子出手，寫一下貝葉斯是如何運行的。出于簡單，這里的分布函數采用高斯分布。
離鋼鐵俠更近一步？哈佛大學新算法快速定制可穿戴動力服
“這種新的方式高效快速地優化了輔助可穿戴設備的控制參數設置，“在SEAS攻讀博士后的Ye Ding介紹到，他是該項研究的共同第一作者，”這種方式能夠優化穿著髖部延展輔助設備的用戶的代謝性能?！?當人們走路的時候，會不斷微調自己的身體來節約能量（即代謝消耗）。
”之前，如果說有三個人使用輔助可穿戴設備，那么你需要設計三套不同的輔助方案，“在SEAS攻讀博士后的Myunghee
Kim解釋道，他也是該項研究的共同第一作者，“在過去，為每個使用者找到合適的控制參數是一件很困難的事情，必須一步一步地來，因為不僅每個人的行動方式略有不同，進行人工調整參數的實驗也是一件復雜耗時的事情。”
該項研究由來自SEAS的副教授Conor Walsh和SEAS工程與計算機科學學院的助理教授Scott Kuindersma共同領導完成。他們開發的這種算法可以切斷變化并快速找到能夠盡可能減少行動消耗的最佳控制參數。
研究人員使用所謂的”人機回圈“（Human-in-the-loop）優化，通過實時測量人的生理信號，例如呼吸速率來調整設備的控制變量。算法會在尋找最優參數中不斷優化，最終指示動力服在合適的時間和地點提供協力來幫助髖部延展。該研究團隊使用的貝葉斯優化方法去年已經發表在《公共科學圖書館期刊》（PLOSone）上。
和不穿動力服的情況相比，穿上使用該算法優化的動力服能夠幫助用戶減少17.4%的代謝消耗。比起團隊之前的成果，這種動力服性能提升了60%以上。
“優化學習算法對未來用于協助運動的可穿戴機械裝置將產生很大影響，”Kuindersma說到，“這些結果表明哪怕是最簡單的控制器優化都能在用戶行走時提供重要的個性化幫助。接下來我們重要的一步就是根據這些想法來研究更多更有效的控制方案，并把這些想法應用在需求不同的用戶身上。
展開 sklearn中樸素貝葉斯的使用（python）
06 結論
01 重要概念：貝葉斯定理，全概率公式，條件概率分布；
02 特征（屬性，參數，變量，特性）：特征值可以離散，也可以連續；
基于特殊Epsilon微腔的定向輻射冷卻
采用貝葉斯優化方法對其多維結構的變量進行優化，使目標光譜中的角選擇性和總半球發射率εT達到最大。用標準半導體工藝精確制造了該結構。利用能量-動量色散揭示了定向發射的基本物理原理，定向發射在多個特殊的epsilon波長處達到峰值。作者發現，由于溫室效應，全方位熱發射器在封閉系統中可能無效。相比之下，該研究團隊開發的側發射熱發射器即使在封閉系統中也能保持冷卻性能。此外，它還可以為靠近光電器件的用戶提供熱舒適。相關研究成果以“Directional Radiative Cooling via Exceptional Epsilon-Based Microcavities”為題發表于《ACS Nano》。
03
圖文導讀
圖1 氧化物基熱輻射器。(a ~ f) 模擬氧化物/金屬膜(a、b)、獨立氧化膜(c、d)和微結構獨立氧化膜(e、f)的能量-動量色散和電磁能量分布。
圖2 SiO2/AlOX雙殼中空微腔的設計與制備。
圖3 測量和模擬能量-動量色散。
圖4 熱舒適和輻射冷卻實驗。(a,b)熱舒適實驗。(a)實驗裝置示意圖。每個樣品(即SiO2/AlOX (100/100 nm)雙殼HMs和碳帶涂覆Si)連接到100°C的電加熱器上。(b) ΔT值的時間變化(上表)和紅外熱像圖(下表)。
展開 『分享』基于貝葉斯方法的時變可靠度分析
摘要：針對現役鋼筋混凝土橋梁時變可靠度分析的現狀，首先根據主觀經驗信息確定了一個抗力統計參數退
化模型，然后結合結構實際檢測信息，運用貝葉斯方法綜合這兩類信息，并進行了推斷，從而對模型參數進行
了更新，并利用更新后的參數對混凝土模型和鋼筋銹蝕模型進行了修正，最后結合已有的荷載效應分析理論，
計算時變可靠度，給出了一個計算實例．
關鍵詞：貝葉斯方法；信息更新；時變可靠性；抗力衰減
基于貝葉斯方法的時變可靠度分析.pdf
