梯度下降
關(guān)注創(chuàng)建者：匿名 創(chuàng)建時(shí)間：2026-01-05
梯度下降的視頻教程
基于Solidworks+Workbench+OptiSLang的管道流固耦合優(yōu)化
本次課程主要包含以下幾方面內(nèi)容： 借助Solidworks中的方程式驅(qū)動(dòng)功能進(jìn)行參數(shù)化幾何建模； 對(duì)CAD軟件中的參數(shù)進(jìn)行特殊命名，保證被Workbench識(shí)別； 在Workbench中搭建單向流固耦合計(jì)算框架； 使用Ansys Meshing進(jìn)行邊界層流場(chǎng)網(wǎng)格劃分； 在Workbench中進(jìn)行參數(shù)提取； OptiSLang軟件的應(yīng)用，包括敏感性分析和梯度下降優(yōu)化
￥18 37分鐘 352播放
查看
基于ANSYS-ACP的復(fù)合材料建模及優(yōu)化
在U型管的分析中著重演示了如何使用Edge Wise功能進(jìn)行纖維方向定義，使得纖維方向能貼合U型管的軸線漸變；在C型板的分析中重點(diǎn)講解了Draping功能，該功能可以方便地改變纖維方向以滿足不同幾何特征的纖維方向定義，對(duì)如何在ACP模塊中提取纖維角度作為優(yōu)化參數(shù)進(jìn)行了詳細(xì)演示；最后演示了OptiSLang的參數(shù)敏感度分析、多目標(biāo)優(yōu)化問(wèn)題的轉(zhuǎn)化以及梯度下降優(yōu)化的操作流程。
￥15 53分鐘 762播放
查看
循環(huán)神經(jīng)網(wǎng)絡(luò)RNN算法與MATLAB程序詳解視頻
RNN5_2層間輸入與輸出等式及誤差反向傳播（10鐘） 8、RNN5_3引入循環(huán)神經(jīng)網(wǎng)絡(luò)原因及其算法特點(diǎn)（5分鐘） 9、RNN5_4循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及信號(hào)流向（13分鐘） 10、RNN5_5RNN兩個(gè)實(shí)例介紹及假設(shè)與初始化問(wèn)題（6分鐘） 11、RNN5_6數(shù)值序列和文本單詞識(shí)別兩例分析（13分鐘） 12、RNN5_7循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程步驟（6分鐘） 13、RNN5_8總誤差函數(shù)及隨機(jī)梯度下降法公式
￥178 31分鐘 501播放
查看
梯度下降的實(shí)例教程
基于混沌變量的變步長(zhǎng)梯度下降優(yōu)化算法
姚俊峰 楊獻(xiàn)勇 彭小奇 張?zhí)? 鄭順斌
清華大學(xué)熱能工程系 中南大學(xué)熱工設(shè)備仿真與優(yōu)化研究所 福建潯興集團(tuán)公司
摘要：梯度下降法與混沌優(yōu)化法均具有各自的缺點(diǎn)。該文將二者結(jié)合起來(lái)，利用混沌運(yùn)動(dòng)的遍歷性，將混沌因子引入到變步長(zhǎng)中，對(duì)梯度下降法進(jìn)行改進(jìn)。首先利用混沌變量來(lái)初始化補(bǔ)償大小，并隨著搜索過(guò)程向最優(yōu)點(diǎn)附近步長(zhǎng)波動(dòng)平穩(wěn)，避免了梯度下降法拉鋸現(xiàn)象的產(chǎn)生。通過(guò)3個(gè)典型算例，用該算法和梯度下降法以及其他2種算法進(jìn)行了優(yōu)化計(jì)算對(duì)比，結(jié)果表明，采用該算法的迭代次數(shù)減少了45%以上。
關(guān)鍵詞 ：最佳控制，混沌，變步長(zhǎng)，梯度下降法，優(yōu)化
內(nèi)容簡(jiǎn)介：
1 傳統(tǒng)優(yōu)化算法的分析
2 基于混沌變量的變尺度梯度下降優(yōu)化算法
3 算例
4 結(jié)論
基于混沌變量的變步長(zhǎng)梯度下降優(yōu)化算法.pdf
展開 基于動(dòng)量的更新：基于動(dòng)量的梯度下降技術(shù)涉及將先前更新的一小部分添加到當(dāng)前更新中。該技術(shù)有助于算法克服局部最小值并加速收斂。
批量歸一化：批量歸一化是一種用于對(duì)神經(jīng)網(wǎng)絡(luò)每一層的輸入進(jìn)行歸一化的技術(shù)。這有助于 Gradient Descent 算法更快地收斂，并避免漸變消失或爆炸。
權(quán)重衰減： 權(quán)重衰減是一種正則化技術(shù)，涉及向成本函數(shù)添加與權(quán)重大小成正比的懲罰項(xiàng)。這有助于防止過(guò)度擬合并提高模型的泛化。
自適應(yīng)學(xué)習(xí)率：自適應(yīng)學(xué)習(xí)率技術(shù)涉及在訓(xùn)練過(guò)程中自適應(yīng)地調(diào)整學(xué)習(xí)率。示例包括 Adagrad、RMSprop 和 Adam。這些技術(shù)根據(jù)歷史梯度信息調(diào)整學(xué)習(xí)率，可以提高算法的收斂速度和準(zhǔn)確性。
二階方法：Second-Order Method 使用成本函數(shù)的二階導(dǎo)數(shù)來(lái)更新參數(shù)。示例包括 Newton's Method 和 Quasi-Newton Methods。這些方法可以比 Gradient Descent 更快地收斂，但需要更多的計(jì)算并且可能不太穩(wěn)定。
Gradient Descent 是一種迭代優(yōu)化算法，用于查找函數(shù)的最小值。一般的思路是將參數(shù)初始化為隨機(jī)值，然后在每次迭代時(shí)沿 “slope” 的方向采取小步驟。梯度下降在監(jiān)督學(xué)習(xí)中被廣泛使用，以最小化誤差函數(shù)并找到參數(shù)的最佳值。已經(jīng)為梯度下降算法設(shè)計(jì)了各種擴(kuò)展。下面討論其中一些：
動(dòng)量法：此方法用于通過(guò)考慮梯度的指數(shù)加權(quán)平均值來(lái)加速梯度下降算法。使用平均值使算法以更快的方式收斂到最小值，因?yàn)槌虿怀Ｒ姺较虻?em>梯度被抵消。動(dòng)量法的偽代碼如下。
展開 如何求MGDA算法中的梯度信息（gfun1,gfun2)目標(biāo)函數(shù)1與2的梯度。matlab
% Steepest Descent Method
% By Kshitij Deshpande
clc
clear all
warning off
prompt = {'Coeficients if X1=','Coefficients of X2=','Coefficeint of X1X2=','Initial Point='};
def = {'[2 1 0]','[1 -1 0]','2','[0 0]'};
a=inputdlg(prompt,'Data',1,def);
a=char(a);
[m,n]=size(a);
x1 = eval(a(1,1:n));x2=eval(a(2,1:n));x1x2=eval(a(3,1:n));X1=eval(a(4,1:n));
delf1(1) = polyval(polyder(x1),X1(1));
delf1(1) = (delf1(1))+(x1x2*X1(2));
delf1(2) = polyval(polyder(x2),X1(1));
delf1(2) = (delf1(2))+(x1x2*X1(1));
s=-delf1;
%%%%%%%%%%
%report
srep(1,1:2)=s;
%%%%%%%%%%
x1new(1)=s(1)^2;x1new(2)=2*X1(1)*s(1);x1new(3) = X1(1)^2;
x1new=x1new*x1(1);
x1new_(2)=x1(2)*s(1);x1new_(3)=x1(2)*X1(1);
x1new = x1new+x1new_;
x2new(1)=s(2)^2;x2new(2)=2*X1(2)*s(2);x2new(3) = X1(2)^2;
x2new=x2new*x2(1);
x2new_(2)=x2(2)*s(2);x2new_
展開 梯度下降法
算法2：梯度下降法+動(dòng)量
算法在純粹的梯度下降法之上，外加了梯度，從而記錄下了歷史的梯度情況，從而減輕了卡在局部最小值的危險(xiǎn)，在梯度=0的地方仍然會(huì)有一定的v剩余，從而在最小值附近搖擺
首先給出學(xué)習(xí)率lr，動(dòng)量參數(shù)m
初始速度v=0,初始x
while True：
v = m * v - lr * df/dx
x += v
下面可以看圖：
梯度下降+動(dòng)量， lr=0.05
梯度下降+動(dòng)量， lr=0.01
梯度下降+動(dòng)量， lr=0.002
從中我們可以看出：
lr越小越穩(wěn)定，太大了很難收斂到最小值上，但是太小的話收斂就太慢了
動(dòng)量參數(shù)不能太小，0.9以上表現(xiàn)比較好，但是又不能太大，太大了無(wú)法停留在最小值處
算法3：AdaGrad算法
AdaGrad算法的思想是累計(jì)歷史上出現(xiàn)過(guò)的梯度（平方），用積累的梯度平方的總和的平方根，去逐元素地縮小現(xiàn)在的梯度。某種意義上是在自行縮小學(xué)習(xí)率，學(xué)習(xí)率的縮小與過(guò)去出現(xiàn)過(guò)的梯度有關(guān)。
缺點(diǎn)是：剛開始參數(shù)的梯度一般很大，但是算法在一開始就強(qiáng)力地縮小了梯度的大小，也稱學(xué)習(xí)率的過(guò)早過(guò)量減少。
展開 
梯度下降的相關(guān)專題、標(biāo)簽、搜索
梯度下降的最新內(nèi)容
PINN零基礎(chǔ)入門指南，附代碼（一）7個(gè)月前
損失函數(shù)決定了優(yōu)化目標(biāo)，優(yōu)化器通過(guò)梯度下降法優(yōu)化，即：
是步長(zhǎng)也叫學(xué)習(xí)率，當(dāng)前減去步長(zhǎng)乘以梯度就是更新后的參數(shù)值,現(xiàn)成的梯度算法工具有很多，本文采用Adam。
反向傳播
在優(yōu)化過(guò)程中需要對(duì)損失函數(shù)關(guān)于優(yōu)化參數(shù)求導(dǎo)，獲得每一個(gè)優(yōu)化參數(shù)對(duì)損失函數(shù)的影響即梯度計(jì)算：
具體方法如下圖所示，采用鏈?zhǔn)椒▌t的方法從后往前計(jì)算，因此也叫反向傳播。
=====
Total params: 1,278,625
Trainable params: 1,278,625
Non-trainable params: 0
_________________________________________________________________
在編譯模型時(shí)，我們提供以下三個(gè)基本參數(shù)：
optimizer – 這是有助于使用梯度下降優(yōu)化成本函數(shù)的方法
梯度下降在監(jiān)督學(xué)習(xí)中被廣泛使用，以最小化誤差函數(shù)并找到參數(shù)的最佳值。已經(jīng)為梯度下降算法設(shè)計(jì)了各種擴(kuò)展。下面討論其中一些：
動(dòng)量法：此方法用于通過(guò)考慮梯度的指數(shù)加權(quán)平均值來(lái)加速梯度下降算法。使用平均值使算法以更快的方式收斂到最小值，因?yàn)槌虿怀Ｒ姺较虻奶荻缺坏窒?dòng)量法的偽代碼如下。
Levenberg-Marquardt算法它“在高斯-牛頓算法和梯度下降法之間進(jìn)行插值。[…]在許多情況下，它可以找到一個(gè)解決方案，即使它從非常遠(yuǎn)的最終最小值開始。”收斂是可能的，但不能保證。
所有局部最小化算法都有陷入局部極小值的風(fēng)險(xiǎn)。為了盡量減少這種風(fēng)險(xiǎn)，可以嘗試使用較大的初始步長(zhǎng)比例因子，從不同的初始條件開始，或使用全局優(yōu)化算法。
所有局部最小化算法都有陷入局部極小值的風(fēng)險(xiǎn)。
網(wǎng)絡(luò)通過(guò)反向傳播和梯度下降來(lái)學(xué)習(xí)最佳濾波器。
卷積層是如何工作的？
卷積神經(jīng)網(wǎng)絡(luò)或 covnet 是共享其參數(shù)的神經(jīng)網(wǎng)絡(luò)。假設(shè)您有一張圖片。它可以表示為具有長(zhǎng)度、寬度（圖像的尺寸）和高度（即圖像通常具有紅色、綠色和藍(lán)色通道的通道）的長(zhǎng)方體。
?
使用 NumPy 從頭開始構(gòu)建 DNN.實(shí)施機(jī)器學(xué)習(xí)算法，包括梯度下降、邏輯回歸、前饋和反向傳播.模塊 3：使用 PyTorch 進(jìn)行深度學(xué)習(xí)了解張量及其在深度學(xué)習(xí)中的重要性。對(duì)張量執(zhí)行操作并了解 autograd 以進(jìn)行自動(dòng)微分。使用 PyTorch 構(gòu)建基本和復(fù)雜的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn) CNN 以執(zhí)行高級(jí)圖像識(shí)別任務(wù)。
就像循環(huán)神經(jīng)網(wǎng)絡(luò)一樣，LSTM 網(wǎng)絡(luò)也會(huì)在每個(gè)時(shí)間步生成一個(gè)輸出，該輸出用于使用梯度下降來(lái)訓(xùn)練網(wǎng)絡(luò)。
循環(huán)神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)的反向傳播算法之間的唯一主要區(qū)別與算法的數(shù)學(xué)有關(guān)。
設(shè)為每個(gè)時(shí)間步的預(yù)測(cè)輸出，并為每個(gè)時(shí)間步的實(shí)際輸出。然后每個(gè)時(shí)間步的誤差由下式給出：-
因此，總誤差由所有時(shí)間步的誤差之和給出。
就像循環(huán)神經(jīng)網(wǎng)絡(luò)一樣，LSTM 網(wǎng)絡(luò)也會(huì)在每個(gè)時(shí)間步生成一個(gè)輸出，該輸出用于使用梯度下降來(lái)訓(xùn)練網(wǎng)絡(luò)。
循環(huán)神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)的反向傳播算法之間的唯一主要區(qū)別與算法的數(shù)學(xué)有關(guān)。
設(shè)為每個(gè)時(shí)間步的預(yù)測(cè)輸出，并為每個(gè)時(shí)間步的實(shí)際輸出。然后每個(gè)時(shí)間步的誤差由下式給出：-
因此，總誤差由所有時(shí)間步的誤差之和給出。
這是通過(guò)使用梯度下降或其他一些優(yōu)化算法最小化均方誤差 （MSE） 來(lái)實(shí)現(xiàn)的。
訓(xùn)練模型后，它可用于預(yù)測(cè)新輸入值的降雨量。可以使用各種指標(biāo)來(lái)評(píng)估模型的性能，例如決定系數(shù) （R^2）、均方誤差 （MSE） 和均方根誤差 （RMSE）。
總之，線性回歸是一種簡(jiǎn)單而有效的技術(shù)，可用于根據(jù)歷史數(shù)據(jù)預(yù)測(cè)降雨量。該過(guò)程包括收集和預(yù)處理數(shù)據(jù)、定義假設(shè)函數(shù)、訓(xùn)練模型以及評(píng)估其性能。
此輸出用于使用梯度下降訓(xùn)練網(wǎng)絡(luò)。
?編輯
所涉及的反向傳播類似于典型人工神經(jīng)網(wǎng)絡(luò)中使用的反向傳播，但有一些細(xì)微的變化。這些變化被記錄為：-設(shè)網(wǎng)絡(luò)在任何時(shí)間步的預(yù)測(cè)輸出為?編輯 ，實(shí)際輸出為?編輯 。然后每個(gè)時(shí)間步的誤差由下式給出：
?編輯
誤差由所有時(shí)間步的誤差之和給出。
?編輯
?編輯
同樣，該值?編輯 可以計(jì)算為每個(gè)時(shí)間步的梯度之和。
?
