梯度下降優化的案例
基于混沌變量的變步長梯度下降優化算法
基于混沌變量的變步長梯度下降優化算法
姚俊峰 楊獻勇 彭小奇 張田 鄭順斌
清華大學熱能工程系 中南大學熱工設備仿真與優化研究所 福建潯興集團公司
摘要：梯度下降法與混沌優化法均具有各自的缺點。該文將二者結合起來，利用混沌運動的遍歷性，將混沌因子引入到變步長中，對梯度下降法進行改進。首先利用混沌變量來初始化補償大小，并隨著搜索過程向最優點附近步長波動平穩，避免了梯度下降法拉鋸現象的產生。通過3個典型算例，用該算法和梯度下降法以及其他2種算法進行了優化計算對比，結果表明，采用該算法的迭代次數減少了45%以上。
關鍵詞 ：最佳控制，混沌，變步長，梯度下降法，優化
內容簡介：
1 傳統優化算法的分析
2 基于混沌變量的變尺度梯度下降優化算法
3 算例
4 結論
基于混沌變量的變步長梯度下降優化算法.pdf
展開 梯度下降的優化技術
Gradient Descent 是一種迭代優化算法，用于查找函數的最小值。一般的思路是將參數初始化為隨機值，然后在每次迭代時沿 “slope” 的方向采取小步驟。梯度下降在監督學習中被廣泛使用，以最小化誤差函數并找到參數的最佳值。已經為梯度下降算法設計了各種擴展。下面討論其中一些：
動量法：此方法用于通過考慮梯度的指數加權平均值來加速梯度下降算法。使用平均值使算法以更快的方式收斂到最小值，因為朝向不常見方向的梯度被抵消。動量法的偽代碼如下。
V = 0 for each iteration i: compute dW V = β V + (1 - β) dW W = W - α V
V 和 dW 分別類似于速度和加速度。α 是學習率，β 類似于通常保持在 0.9 的動量。物理學解釋是，球下坡滾動的速度會根據山坡的坡度（坡度）方向產生動量，因此有助于球更好地以最小值（在我們的例子中 - 以最小的損失）到達。
RMSprop：RMSprop 是由多倫多大學的 Geoffrey Hinton 提出的。直覺是將指數加權平均方法應用于梯度的第二個時刻 （dW2).此的偽代碼如下所示：
S = 0 for each iteration i compute dW S = β S + (1 - β) dW2 W = W - α dW?√S + ε
Adam 優化：Adam 優化算法結合了動量法和 RMSprop 以及偏差校正。
展開 多梯度下降算法MGDA
如何求MGDA算法中的梯度信息（gfun1,gfun2)目標函數1與2的梯度。matlab
最速下降梯度法matlab程序
% Steepest Descent Method
% By Kshitij Deshpande
clc
clear all
warning off
prompt = {'Coeficients if X1=','Coefficients of X2=','Coefficeint of X1X2=','Initial Point='};
def = {'[2 1 0]','[1 -1 0]','2','[0 0]'};
a=inputdlg(prompt,'Data',1,def);
a=char(a);
[m,n]=size(a);
x1 = eval(a(1,1:n));x2=eval(a(2,1:n));x1x2=eval(a(3,1:n));X1=eval(a(4,1:n));
delf1(1) = polyval(polyder(x1),X1(1));
delf1(1) = (delf1(1))+(x1x2*X1(2));
delf1(2) = polyval(polyder(x2),X1(1));
delf1(2) = (delf1(2))+(x1x2*X1(1));
s=-delf1;
%%%%%%%%%%
%report
srep(1,1:2)=s;
%%%%%%%%%%
x1new(1)=s(1)^2;x1new(2)=2*X1(1)*s(1);x1new(3) = X1(1)^2;
x1new=x1new*x1(1);
x1new_(2)=x1(2)*s(1);x1new_(3)=x1(2)*X1(1);
x1new = x1new+x1new_;
x2new(1)=s(2)^2;x2new(2)=2*X1(2)*s(2);x2new(3) = X1(2)^2;
x2new=x2new*x2(1);
x2new_(2)=x2(2)*s(2);x2new_
展開 
Isight梯度優化算法淺析
Isight梯度優化算法淺析
梯度算法通過在設計空間中的當前位置設定一個前進方法和搜索步長從而獲得設計空間中的另一個位置，并判斷收斂性。Isight中梯度優化算法有三種NLPQL,LSGRG和MMFD,這里通過尋找數學函數表達式的最小值問題，來展示這三種算法搜尋最優解的效率。
優化問題：
min f(x)=100*(x2-x1^2)^2+10*(x1-1)^2
s.t. x1^2+x2^2=<9.0
isight優化步驟：
1、
構建優化流程，application組件采用calculator，process 組件選用optimization;
圖1-優化流程構建
2、
設置優化算法、設計變量、約束及目標，設計變量初始值為x1=2.0,x2=3.0;
圖2-優化算法及參數設置
3、
查看優化結果，并比較3種梯度算法搜尋全局最優解的效率。
圖3給出了三種算法的搜尋歷程，算法收斂準則均設置為1.0e-6，設計空間為以（0,0）為圓心半徑為3.0的圓域內，初始點為（2.0,3.0）不在設計空間內部，NLPQL算法迭代27次能搜尋到全局最優解（0.986,0.975），LSGRG算法迭代10次找到局部最優解（1.590,2.544），這個局部解剛好在設計區域的邊界上，因為LSGRG算法的搜尋梯度和它的臨界約束相關，MMFD算法迭代8次找到局部解（1.523,2.342），這個點剛好滿足目標函數高階項接近零。以上結果可以發現，初始點不在設計區域內，NLPQL算法通過多次迭代能搜尋到全局最優解，而LSGRG和MMFD算法能用較少的迭代次數搜尋到一個局部最優解而完成迭代過程。
展開 [可靠性方法]梯度優化法（幾何法）
若基本隨機變量是不相關的，則可首先將其轉換位標準正態分布變量，然后在標準正態變量空間內計算可靠指標，這一計算過程可歸結為約束優化問題進行求解，使可靠性指標的計算更為方便，特別是對于較復雜的可靠性指標計算問題，其優點更加明顯。
Hasofer和Lind與1974年首先在標準正態變量空間內通過計算坐標原點到極限狀態面的最小距離得到可靠性指標b。Shinozuka在1983年進一步證明了極限狀態面上到原點距離最小的點為最大可能失效點。
所以，計算可靠性指標的問題就成為在標準正態變量空間內求解坐標原點到極限狀態面的最小距離問題，與可靠性指標相對應的設計驗算點也可由標準正態變量空間內的最大可能失效點通過轉換得到。
展開 增材制造：拓撲優化與梯度點陣結構提升零部件附加值
Lattice Simulation典型案例
（1）某點陣結構支架仿真分析
（2）某點陣輕量化結構分析
案例演示-梁的優化
我們通過一個簡單案例來展示nTop設計工具的功能優勢。假設有一根載荷均勻分布、兩端固定的鐵梁。
1、拓撲優化
首先，基于變密度方法進行拓撲優化。設置相對密度閾值為ρ = 0.5并輸出形狀。然后使用 nTopology 中的Smooth Body模塊塊進行。此時零件體積為3990 mm^3
接下來，我們通過靜力學分析確認拓撲優化形狀的剛度。我們使用與拓撲優化步驟相同的負載和邊界條件設置參數。承載方向的最大位移為 2.152e-2 mm。
2、基于拓撲優化的功能梯度點陣結構
最后，我們將拓撲優化結果與功能梯度點陣結構的剛度進行比較。
在檢查點陣結構時，我們采用了“殼和填充（shell and infill）”方法。該結構由外殼和內部點陣結構組成。這是一種仿生學設計，類似于骨骼結構，以提高剛度。
下圖顯示了一種典型的結構。在這個案例中，拓撲優化閾值設置為 0.4，外殼厚度設置為 t = 0.6 mm。我們使用gyroid單胞，大小為3mm。
gyroid單胞的厚度由拓撲優化的中間密度控制（使用nTopology 中的Ramp模塊），在承載較高的部分，厚度逐漸從0.25mm增加到1.57mm。最終的體積幾乎與傳統拓撲優化獲得的體積相同。
結構的剛度分析結果表面，承載方向的最大位移為 2.008e-2mm。通過對比傳統拓撲優化的結果，我們可以看到剛度提高了約7%。
展開 TU Delft團隊研究優化3D打印微結構梯度
據了解，TU Delft的一組研究人員近期進一步優化了3D打印分級微結構的過程。之前已有不少人在研究一個問題——分級密度可以有效地利用質量。以骨骼為例：骨骼的密度越高，能承受的壓力就越大，而骨骼感知到的重量越輕。也就是說，骨骼具有高強度重量比，并且在需要承受的地方是剛性的，而在其他點處也是更柔韌的。密度的變化是呈微觀結構梯度，并且它在整個自然界中都會存在，但3D打印這些梯度卻不能像自然狀態呈現的那么容易。
制造微結構梯度的主要障礙來源于匹配相鄰單元的兼容性；微結構必須彼此間物理連接，但由于具有不同的密度，它們的幾何形狀不一定能很好地對齊，這意味著一些單元會排斥接觸不同等級的相鄰單元。這樣就會產生影響結構完整性的問題，從而可能會導致在3D打印期間以及成型后出現問題。想要解決此類問題，最好的方案主要是通過計算和算法，關鍵在于創建幾何體，用3D打印機打印出適合的硬件。
TU Delft團隊最終找到了“拓撲優化微結構之間的最佳連接”，并且，他們的方法同時優化了“單元以及相鄰單元的物理特性”，即確保物質連接和平滑變化。他們通過3D打印植入原型演示了自己的方法，可以看到，隨著向零件外部拓展，中心區域由密集逐漸變得更加多孔。這就是 “功能性漸變促進骨“，表現出種植體界面處的骨向內生長，同時保持結構完整性并增加骨向內生長無關的區域的機械性質。
研究人員的分級微觀結構優化過程將會很好地服務于醫療和航空航天工業，而其中的輕量級性能也受到了高度贊賞。最終，這些密度梯度將作為3D建模軟件或切片程序亦或兩者兼具的形式被應用于醫療和航空航天。如此，設計師就能夠選擇起點、終點、漸變范圍和方向，就像在Photoshop中一樣，靈活使用密度漸變打印出3D對象。
展開 用無梯度仿生技術對疊層復合材料方板開孔形狀優化
用無梯度仿生技術對疊層復合材料方板開孔形狀優化
劉毅 金峰
清華大學水利水電工程系
摘要:為了改善疊層復合材料方板孔周應力分布,采用一種無梯度仿生技術——固定網格漸進優化方法，建立了等限制Tsai-Hill準則——即使孔周的限制Tsail-Hill值更加均勻，來求解切孔形狀優化問題。用各向同性材料方板在二軸拉力荷載下單孔形狀優化的例子驗證了方法的正確性。研究了按照[+/-45度/0度/90度]對稱擱置的碳纖維/環氧樹脂材料準各向同性疊層復合材料方板受單位和拉減荷載的例子。優化后的控形在Tsail-Hill強度值的均勻度上比正方形開孔有了顯著的改善，計算結果比傳統的漸進優化方法更精確和更光滑。
關鍵詞：疊層復合材料，固定網格，漸進優化方法，形狀優化
內容簡介：
1 基于等限制Tsail-Hill值準則的FG ESO方法
2 本文方法驗證
3 準各向同性層合方板開孔形狀優化
3.1 工況 1
3.2 工況 2
4 總結
用無梯度仿生技術對疊層復合材料方板開孔形狀優化.pdf
展開 PINN零基礎入門指南，附代碼（一）
內容介紹
神經網絡模型
如上圖所示，為最簡單的MLP架構（隱藏層的線性簡單堆疊，隱藏層的圓圈即表示一個神經元），本文采用一個隱藏層64個神經元，一個輸入層一個輸出層，表示變量所在層數，和表示變量所在層的位置，表示第層第個神經元的值，所有神經元的和為優化參數下文用指代。
為激活函數，通常情況下激活函數有以下幾種，神經網絡添加激活函數的原因是，線性函數的疊加無法表示非線性函數，本文采用的是函數
損失函數
是需要訓練的神經網絡參數，是訓練結果，是真實結果,本文采用均方誤差即：
除此之外也有一些其他的誤差形式，這里就不一一舉例。損失函數決定了優化目標，優化器通過梯度下降法優化，即：
是步長也叫學習率，當前減去步長乘以梯度就是更新后的參數值,現成的梯度算法工具有很多，本文采用Adam。
反向傳播
在優化過程中需要對損失函數關于優化參數求導，獲得每一個優化參數對損失函數的影響即梯度計算：
具體方法如下圖所示，采用鏈式法則的方法從后往前計算，因此也叫反向傳播。
步驟
準備訓練數據：生成一些樣本點
x=torch.linspace(0,1,101).reshape(-1,1)
y=torch.sin(x)
定義神經網絡模型
class SimpleNN(nn.Module):
def __init__(self):
super(SimpleNN, self).
展開 過程集成優化綜合區資料分類索引(試行版)
旋轉式掃描方法在光學相干層析成像系統的應用
多剛體動力學的STEP描述及其映射研究
前門內板沖孔工藝的改進
斜孔沖模的結構設計及力學分析
工程中常用的神經網絡模型及泛化性能研究
基于響應面模型的薄壁構件耐撞性優化設計
基于序列響應面方法的協同優化算法
空間映射與響應面法相結合的結構優化
基于多目標優化的扁擠壓筒結構設計
汽車鋼板脹形區成形極限圖的預測與驗證
用有限元法研究鈑金沖壓成形中的若干問題
現代汽車用鋼板及成形性的判斷方法
顯式有限元方法求解二維殼體塑性大變形接觸
汽車覆蓋件拉深成形拉深筋作用仿真研究
用iSIGHT實現車身沖壓件成形自動優化
提高金屬成形性的研究
正交各向異性金屬板料的成形極限
沖壓成形CAE技術中接觸摩擦計算的新方法
基于區間變量的響應面可靠性分析方法
結構靈敏度分析的區間方法
模擬退火優化技術在汽車結構參數優化中的應用
全局演化局部模擬優化技術在汽車結構參數優化中的應用
48芯高壓接頭口母頭優化設計
基于遺傳算法優化阻尼器空間位置的結構振動控制
基于遺傳算法的現行兩自由度隔振器的瞬態最優設計
艦艇外形雷達隱身優化設計理論與方法
結合多項式網與基因演算法于按鍵橡膠彈片外型尺寸最佳化設計
基于混沌變量的變步長梯度下降優化算法
船用U形管蒸汽發生器模型及其動態仿真應用
清華大學：一種新的全局優化算法——統計歸納算法
清華大學——格分片線性函數的辨識和優化
清華大學：自由浮動球體的多推進器進化優化控制
清華大學——航天器熱控和環境控制生命保障系統熱網的優化
考慮運動副間隙影響的函數發生機構的穩健優設計
基于現代最優控制理論的軸流渦輪級S2流面優化設計計算方法探討
爬壁機器人變磁力吸附單元的優化設計
用于標定和優化的高壓共軌柴油機建模
『轉貼』CAE技術及其在車輛行業的應用
『轉貼』沖壓件坯料的優化設計方法研究
『轉貼』轎車保險杠大型注射模設計及CAE
展開 
【新聞】全參數化建模及優化軟件CAESES 5.1版本發布
新的試驗設計方法和優化算法
1. 新的自適應采樣方法
除了拉丁超立方采樣之外，現在還提供一種智能自適應采樣方法，該方法包含在 Dakota 設計引擎中。自適應采樣的目標是構建一個代理模型，該模型可用作替代計算成本高昂的求解器。因此，通過盡可能少的數值計算樣本來構建一個高精度的代理模型是有利的。
自適應的意思是通過將數值計算樣本集中在設計高效區域而不是隨機選擇或常規的均勻采樣，該方法使用高斯過程（克里金）模型作為代理模型，基于拉丁超立方采樣的初始仿真數據集，通過對設計空間中代理預測誤差最高區域進行補點，從而對代理模型進行迭代增強。
2. 帶懲罰函數的最速梯度下降法優化
梯度下降法是一種非常簡單的優化算法，常用于小規模的單目標優化問題。該算法的主要優勢在于通過非常少的評估次數就可以找到一個初始的優化方案。
在第一階段，通過n+1次評估確定目標函數的n維梯度，n是考慮的變量的數量。一旦梯度被確定，就在最陡峭的梯度方向上進行一維搜索，尋找最優。由于該方法的簡單性（一維搜索），所得到的設計不能被認為是最優解，而是找到更好設計的第一步。
其他新功能
1. BRep of Revolution：通過旋轉一組曲線輕松創建BRep。
2. 設計空間降維
① 將主參數與CAD設計變量相結合，給用戶更多的選擇和細節控制；
② 選擇替代的反向變換（從主參數空間到原始的CAD參數空間）方法來處理更多的主參數和對某些幾何形狀更高的精確度要求；
③ 使用Dakota設計引擎的降維方法；
④ 在BReps上也可以可視化和檢查曲率。
更多的版本更新細節可以登錄CAESES官網查看版本更新日志。
展開 周志華教授：關于深度學習的一點思考
于是，在整個系統 中可以相對容易地計算出“梯度”，進而就能使用著名的 BP 算法通過梯度下降優化來對 神經網絡進行訓練。
有人以為深度神經網絡的成功主要是因為“算力”有了巨大發展，因為神經網絡早 就有了，現在只不過是由于算力強了導致能算得更好了。這是一個誤解。沒有強大的算 力當然難以訓練出很深的網絡，但更重要的是，現在人們懂得如何訓練這樣的模型。事 實上，在 Hinton 等的工作[3]之前，人們一直不知道如何訓練出超過五層的神經網絡；這并不是由于算力不足，而是由于神經網絡在訓練中會遭遇“梯度消失”現象：在 BP算法將神經網絡輸出層誤差通過鏈式反傳到遠離輸出層的部分時，可能會導出“零”調 整量，導致網絡遠離輸出層的部分無法根據輸出誤差進行調整，從而使得訓練失敗。這 是從傳統神經網絡發展到深層神經網絡所遇到的巨大技術障礙。Hinton 等通過“逐層訓 練后聯合微調”來緩解梯度消失，使人們看到訓練深層神經網絡是可能的，由此激發了 后來的研究，使得深度神經網絡得以蓬勃發展。事實上，深度神經網絡研究的主要內容 之一就是設計有效措施來避免/減緩梯度消失。例如該領域一個重要技術進步就是用圖 2 右邊的 ReLU 函數來代替以往常用的 Sigmoid 函數，由于前者在零值附近的導數比后者 更“平緩”，使得梯度不會因下降得太快而導致梯度消失。
顯然，基本計算單元的“可微性”（differentiability）對深度神經網絡模型至關重要， 因為它是梯度計算的基礎，而梯度計算是使用 BP 算法訓練神經網絡的基礎。最近有一 些研究嘗試在深度神經網絡中使用不可微激活函數，但其求解過程是在松弛變換后通過 可微函數逼近，實質上仍依賴于基本計算單元的可微性。
展開 在 Python 中使用 Tensorflow 檢測垃圾郵件
==
embedding (Embedding) (None, 100, 32) 1274912
lstm (LSTM) (None, 16) 3136
dense (Dense) (None, 32) 544
dense_1 (Dense) (None, 1) 33
=================================================================
Total params: 1,278,625
Trainable params: 1,278,625
Non-trainable params: 0
_________________________________________________________________
在編譯模型時，我們提供以下三個基本參數：
optimizer – 這是有助于使用梯度下降優化成本函數的方法
展開 使用線性回歸預測降雨量 ￥2
這是通過使用梯度下降或其他一些優化算法最小化均方誤差 （MSE） 來實現的。
訓練模型后，它可用于預測新輸入值的降雨量?？梢允褂酶鞣N指標來評估模型的性能，例如決定系數 （R^2）、均方誤差 （MSE） 和均方根誤差 （RMSE）。
總之，線性回歸是一種簡單而有效的技術，可用于根據歷史數據預測降雨量。該過程包括收集和預處理數據、定義假設函數、訓練模型以及評估其性能。
先決條件：線性回歸
降雨預測是科學技術用于預測一個地區的降雨量的應用。準確確定降雨量對于有效利用水資源、作物生產力和水結構的預先規劃非常重要。在本文中，我們將使用線性回歸來預測降雨量。線性回歸告訴我們可以預期的降雨量。該數據集是來自德克薩斯州奧斯汀的公共天氣數據集，可在 Kaggle 上使用。
數據清理： 數據有各種形式，其中大多數是非常混亂和非結構化的。它們很少準備好使用。數據集，無論大小，都伴隨著各種問題 - 無效字段、缺失值和附加值，以及形式與我們所需的值不同的值。為了將其變為可行或結構化的形式，我們需要 “清理” 我們的數據，并使其隨時可用。一些常見的清理包括解析、轉換為 one-hot、刪除不必要的數據等。在我們的示例中，我們的數據有一些日期沒有記錄某些因素。如果有微量降水，以 cm 為單位的降雨量被標記為 T。我們的算法需要數字，因此我們無法處理數據中彈出的字母。因此，我們需要在將數據應用于模型之前清理數據。在 Python 中清理數據：
Python3 語言
使用線性回歸預測降雨量-1.py
清理數據后，可以將其用作線性回歸模型的輸入。線性回歸是一種在因變量和許多自解釋變量之間形成關系的線性方法。這是通過繪制一條最適合我們的散點圖的線來完成的，即誤差最小。這通過替換線方程中的獨立值來給出值預測，即多少。
展開 