門控循環單元網絡
關注創建者：匿名 創建時間：2026-01-05
門控循環單元網絡的實例教程
訓練網絡的概念過程是首先向網絡提供網絡正在訓練的文本中存在的每個字符的映射到唯一數字。然后將每個字符熱編碼為一個向量，這是網絡所需的格式。
所述程序的數據是著名詩人的短詩和著名詩集，格式為 .txt。它可以從 kaggle 下載。
[11] 馮賢洋，何荇兮，符禮丹，等.基于注意力機制的雙向門控循環單元網絡齒輪故障識別系統[J].汽車工程學報，2023,13(1):111-117.
文章來源：微型電腦應用
編輯
在循環網絡的訓練期間，網絡還會在每個時間步長生成一個輸出。此輸出用于使用梯度下降訓練網絡。
?編輯
所涉及的反向傳播類似于典型人工神經網絡中使用的反向傳播，但有一些細微的變化。這些變化被記錄為：-設網絡在任何時間步的預測輸出為?編輯 ，實際輸出為?編輯 。然后每個時間步的誤差由下式給出：
?編輯
誤差由所有時間步的誤差之和給出。
?編輯
?編輯
同樣，該值?編輯 可以計算為每個時間步的梯度之和。
?編輯
使用微積分的鏈式法則，并利用時間步 t 的輸出是循環單元的當前隱藏狀態的函數這一事實，產生了以下表達式：-
?編輯
請注意，上述表達式中使用的權重矩陣 W 對于輸入向量和隱藏狀態向量是不同的，并且僅以這種方式用于符號的便利性。
因此，出現了以下表達式：-
?編輯
因此，Back-Propagation Through Time 與典型的 Back-Propagation 的唯一區別在于，每個時間步的誤差相加以計算總誤差。?編輯
盡管基本的遞歸神經網絡相當有效，但它可能會遇到一個重大問題。對于深度網絡，反向傳播過程可能會導致以下問題：
消失的梯度：當梯度變得非常小并趨于零時，就會發生這種情況。
分解梯度：當梯度由于反向傳播而變得太大時，會發生這種情況。
Exploding Gradients 的問題可以通過使用 hack 來解決 – 通過在時間上回傳遞的梯度設置閾值。但是這種解決方案并不被視為問題的解決方案，也可能降低網絡的效率。為了解決這個問題，開發了遞歸神經網絡的兩種主要變體——長短期記憶網絡和門控遞歸單元網絡。
遞歸神經網絡 （RNN） 是一種人工神經網絡，旨在處理順序數據。
展開 通過使用神經網絡對這些轉換進行建模：fθ是門控循環單元，(μθ,σθ) 是多層感知器。δ為 Dirac delta 函數，gθ為圖像解碼器，lθ為 BeV 解碼器，πθ為策略。
2、MILE模型預測架構
整體的MILE的模型預測架構如下圖所示。其中包括了觀測網絡和推理網絡兩部分。下面將針對性的對該整體架構進行詳細分析。
整個推理框架目標是推斷生成觀測值 o1:T 的潛在動態 (h1:T, s1:T )，專家操作a1:T和鳥瞰視圖標簽 y1:T，潛在動態包含確定性歷史ht和隨機狀態st。
相應的推理模型是通過設定參數為φ，估計隨機狀態的后驗分布 q(st|o≤t, a
<t) n="n" span="span">
φ(ht, at?1, xt),σφ(ht, at?1, xt)I) 且 xt = eφ(ot)。eφ是觀察編碼器，它可以將圖像二維特征提升到3D空間，從而將它們匯集到鳥瞰圖中，并壓縮為1D 向量。
</t)>
生成模型估計主要是在參數為θ條件下，估計t-1時刻隨機狀態的先驗分布：p(st|ht?1, st?1)～N (μθ(ht, a?t?1),σθ(ht, a?t?1) )I)。其中，ht = fθ(ht?1,st?1)為確定性轉換，a?t?1 =πθ(ht?1, st?1) 為預測動作。
展開 
門控循環單元網絡的相關專題、標簽、搜索
門控循環單元網絡的最新內容
本文將演示如何通過構建 Gated Recurrent Unit Network 來構建文本生成器。訓練網絡的概念過程是首先向網絡提供網絡正在訓練的文本中存在的每個字符的映射到唯一數字。然后將每個字符熱編碼為一個向量，這是網絡所需的格式。
所述程序的數據是著名詩人的短詩和著名詩集，格式為 .txt。它可以從 kaggle 下載。
第 1 步：導入所需的庫
為了解決這個問題，已經開發了幾種 RNN 變體，例如長短期記憶 （LSTM） 和門控循環單元（GRU）網絡，它們使用專門的門來控制通過網絡的信息流并解決梯度消失問題。
RNN 的應用包括語音識別、語言建模、機器翻譯、情感分析和股票預測等。總體而言，RNN 是處理順序數據和建模時間依賴關系的強大工具，使其成為許多機器學習應用程序的重要組成部分。
[3] 曾俊瑋，季元進，任利惠，等.融合一維卷積神經網絡和雙向門控循環單元的APM車輛輪胎徑向載荷識別方法[J].中國機械工程，2023,34(3):359-368.
其中涉及門控循環單元fθ、先驗網絡(μθ,σθ)、圖像解碼器gθ、BeV 解碼器lθ和策略πθ。
