門控循環(huán)單元網(wǎng)絡(luò)的案例
機器學習 |使用門控循環(huán)單元網(wǎng)絡(luò)生成文本 ￥2
訓練網(wǎng)絡(luò)的概念過程是首先向網(wǎng)絡(luò)提供網(wǎng)絡(luò)正在訓練的文本中存在的每個字符的映射到唯一數(shù)字。然后將每個字符熱編碼為一個向量，這是網(wǎng)絡(luò)所需的格式。
所述程序的數(shù)據(jù)是著名詩人的短詩和著名詩集，格式為 .txt。它可以從 kaggle 下載。
基于ADAMS的盤形軋制零件結(jié)構(gòu)優(yōu)化與故障診斷方法
[11] 馮賢洋，何荇兮，符禮丹，等.基于注意力機制的雙向門控循環(huán)單元網(wǎng)絡(luò)齒輪故障識別系統(tǒng)[J].汽車工程學報，2023,13(1):111-117.
文章來源：微型電腦應(yīng)用
遞歸神經(jīng)網(wǎng)絡(luò)解釋
編輯
在循環(huán)網(wǎng)絡(luò)的訓練期間，網(wǎng)絡(luò)還會在每個時間步長生成一個輸出。此輸出用于使用梯度下降訓練網(wǎng)絡(luò)。
?編輯
所涉及的反向傳播類似于典型人工神經(jīng)網(wǎng)絡(luò)中使用的反向傳播，但有一些細微的變化。這些變化被記錄為：-設(shè)網(wǎng)絡(luò)在任何時間步的預(yù)測輸出為?編輯 ，實際輸出為?編輯 。然后每個時間步的誤差由下式給出：
?編輯
誤差由所有時間步的誤差之和給出。
?編輯
?編輯
同樣，該值?編輯 可以計算為每個時間步的梯度之和。
?編輯
使用微積分的鏈式法則，并利用時間步 t 的輸出是循環(huán)單元的當前隱藏狀態(tài)的函數(shù)這一事實，產(chǎn)生了以下表達式：-
?編輯
請注意，上述表達式中使用的權(quán)重矩陣 W 對于輸入向量和隱藏狀態(tài)向量是不同的，并且僅以這種方式用于符號的便利性。
因此，出現(xiàn)了以下表達式：-
?編輯
因此，Back-Propagation Through Time 與典型的 Back-Propagation 的唯一區(qū)別在于，每個時間步的誤差相加以計算總誤差。?編輯
盡管基本的遞歸神經(jīng)網(wǎng)絡(luò)相當有效，但它可能會遇到一個重大問題。對于深度網(wǎng)絡(luò)，反向傳播過程可能會導致以下問題：
消失的梯度：當梯度變得非常小并趨于零時，就會發(fā)生這種情況。
分解梯度：當梯度由于反向傳播而變得太大時，會發(fā)生這種情況。
Exploding Gradients 的問題可以通過使用 hack 來解決 – 通過在時間上回傳遞的梯度設(shè)置閾值。但是這種解決方案并不被視為問題的解決方案，也可能降低網(wǎng)絡(luò)的效率。為了解決這個問題，開發(fā)了遞歸神經(jīng)網(wǎng)絡(luò)的兩種主要變體——長短期記憶網(wǎng)絡(luò)和門控遞歸單元網(wǎng)絡(luò)。
遞歸神經(jīng)網(wǎng)絡(luò) （RNN） 是一種人工神經(jīng)網(wǎng)絡(luò)，旨在處理順序數(shù)據(jù)。
展開 基于模型的自動駕駛汽車端到端深度強化學習策略
通過使用神經(jīng)網(wǎng)絡(luò)對這些轉(zhuǎn)換進行建模：fθ是門控循環(huán)單元，(μθ,σθ) 是多層感知器。δ為 Dirac delta 函數(shù)，gθ為圖像解碼器，lθ為 BeV 解碼器，πθ為策略。
2、MILE模型預(yù)測架構(gòu)
整體的MILE的模型預(yù)測架構(gòu)如下圖所示。其中包括了觀測網(wǎng)絡(luò)和推理網(wǎng)絡(luò)兩部分。下面將針對性的對該整體架構(gòu)進行詳細分析。
整個推理框架目標是推斷生成觀測值 o1:T 的潛在動態(tài) (h1:T, s1:T )，專家操作a1:T和鳥瞰視圖標簽 y1:T，潛在動態(tài)包含確定性歷史ht和隨機狀態(tài)st。
相應(yīng)的推理模型是通過設(shè)定參數(shù)為φ，估計隨機狀態(tài)的后驗分布 q(st|o≤t, a
<t) n="n" span="span">
φ(ht, at?1, xt),σφ(ht, at?1, xt)I) 且 xt = eφ(ot)。eφ是觀察編碼器，它可以將圖像二維特征提升到3D空間，從而將它們匯集到鳥瞰圖中，并壓縮為1D 向量。
</t)>
生成模型估計主要是在參數(shù)為θ條件下，估計t-1時刻隨機狀態(tài)的先驗分布：p(st|ht?1, st?1)～N (μθ(ht, a?t?1),σθ(ht, a?t?1) )I)。其中，ht = fθ(ht?1,st?1)為確定性轉(zhuǎn)換，a?t?1 =πθ(ht?1, st?1) 為預(yù)測動作。
展開 
