
發(fā)布
注冊(cè)
/
登錄長(zhǎng)短期記憶網(wǎng)絡(luò)
關(guān)注創(chuàng)建者:320科技工作室 創(chuàng)建時(shí)間:2022-11-02
長(zhǎng)短期記憶網(wǎng)絡(luò)的視頻教程
1-22基于MATLAB平臺(tái)的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM)
基于MATLAB平臺(tái)的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM),改進(jìn)的鯨魚(yú)優(yōu)化算法優(yōu)化雙向長(zhǎng)短期記憶網(wǎng)絡(luò)( IWOA-BILSTM),采用兩種算法進(jìn)行預(yù)測(cè),程序已調(diào)通并帶有注釋,可他替換自己的數(shù)據(jù)進(jìn)行計(jì)算。 購(gòu)買后可下載視頻中的源程序文件。
¥45.9 3分鐘 1播放
查看
長(zhǎng)短期記憶網(wǎng)絡(luò)的實(shí)例教程
22雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM),改進(jìn)的鯨魚(yú)優(yōu)化算法優(yōu)化雙向長(zhǎng)短期記憶網(wǎng)絡(luò) ¥49.9
雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM),改進(jìn)的鯨魚(yú)優(yōu)化算法優(yōu)化雙向長(zhǎng)短期記憶網(wǎng)絡(luò)( IWOA-BILSTM),采用兩種算法進(jìn)行預(yù)測(cè),基于MATLAB平臺(tái),程序已調(diào)通并帶有注釋,可替換自己的數(shù)據(jù)進(jìn)行計(jì)算。
22雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM),改進(jìn)的鯨魚(yú)優(yōu)化算法優(yōu)化雙向長(zhǎng)短期記憶網(wǎng)絡(luò) ¥45.9
雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM),改進(jìn)的鯨魚(yú)優(yōu)化算法優(yōu)化雙向長(zhǎng)短期記憶網(wǎng)絡(luò)( IWOA-BILSTM),采用兩種算法進(jìn)行預(yù)測(cè),基于MATLAB平臺(tái),程序已調(diào)通并帶有注釋,可替換自己的數(shù)據(jù)進(jìn)行計(jì)算。
先決條件:遞歸神經(jīng)網(wǎng)絡(luò)
為了解決深度遞歸神經(jīng)網(wǎng)絡(luò)中的梯度消失和爆炸問(wèn)題,開(kāi)發(fā)了許多變體。其中最著名的之一是長(zhǎng)短期記憶網(wǎng)絡(luò) (LSTM)。從概念上講,LSTM 循環(huán)單元試圖 “記住” 到目前為止看到的所有過(guò)去知識(shí),并 “忘記” 不相關(guān)的數(shù)據(jù)。這是通過(guò)引入不同的激活函數(shù)層(稱為“門”)來(lái)實(shí)現(xiàn)的,用于不同的目的。每個(gè) LSTM 循環(huán)單元還維護(hù)一個(gè)稱為內(nèi)部單元狀態(tài)的向量,該向量從概念上描述了選擇由前一個(gè) LSTM 循環(huán)單元保留的信息。
LSTM 網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 最常用的變體。LSTM 的關(guān)鍵組件是存儲(chǔ)單元和門(包括遺忘門和輸入門),存儲(chǔ)單元的內(nèi)部?jī)?nèi)容由輸入門和遺忘門調(diào)制。假設(shè)兩個(gè) segue he 都關(guān)閉了,那么記憶單元的內(nèi)容在一個(gè)時(shí)間步和下一個(gè)時(shí)間步之間將保持不變。梯度門控結(jié)構(gòu)允許信息在多個(gè)時(shí)間步中保留,因此也允許組流經(jīng)多個(gè)時(shí)間步。這使得 LSTM 模型能夠正確克服大多數(shù)遞歸神經(jīng)網(wǎng)絡(luò)模型發(fā)生的梯度消失。
長(zhǎng)短期記憶網(wǎng)絡(luò)由四個(gè)不同的門組成,用于不同的目的,如下所述:-
1. 忘記門 (f):在忘記門處,輸入與前一個(gè)輸出相結(jié)合,生成一個(gè)介于 0 和 1 之間的分?jǐn)?shù),它決定了需要保留多少前一個(gè)狀態(tài)(或者換句話說(shuō),應(yīng)該忘記多少狀態(tài))。然后,此輸出與前一個(gè)狀態(tài)相乘。注意:激活輸出 1.0 表示“記住所有內(nèi)容”,激活輸出 0.0 表示“忘記所有內(nèi)容”。從另一個(gè)角度來(lái)看,忘記門的更好名稱可能是 “remember gate”
2. 輸入門 (i):Input gate 對(duì)與 forget gate 相同的信號(hào)進(jìn)行操作,但這里的目標(biāo)是決定哪些新信息將進(jìn)入 LSTM 的狀態(tài)。input gate 的輸出(同樣是 0 和 1 之間的分?jǐn)?shù))乘以 tan h block 的輸出,該 block 產(chǎn)生必須添加到先前狀態(tài)的新值。
展開(kāi) 先決條件:遞歸神經(jīng)網(wǎng)絡(luò)
為了解決深度遞歸神經(jīng)網(wǎng)絡(luò)中的梯度消失和爆炸問(wèn)題,開(kāi)發(fā)了許多變體。其中最著名的之一是長(zhǎng)短期記憶網(wǎng)絡(luò) (LSTM)。從概念上講,LSTM 循環(huán)單元試圖 “記住” 到目前為止看到的所有過(guò)去知識(shí),并 “忘記” 不相關(guān)的數(shù)據(jù)。這是通過(guò)引入不同的激活函數(shù)層(稱為“門”)來(lái)實(shí)現(xiàn)的,用于不同的目的。每個(gè) LSTM 循環(huán)單元還維護(hù)一個(gè)稱為內(nèi)部單元狀態(tài)的向量,該向量從概念上描述了選擇由前一個(gè) LSTM 循環(huán)單元保留的信息。
LSTM 網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 最常用的變體。LSTM 的關(guān)鍵組件是存儲(chǔ)單元和門(包括遺忘門和輸入門),存儲(chǔ)單元的內(nèi)部?jī)?nèi)容由輸入門和遺忘門調(diào)制。假設(shè)兩個(gè) segue he 都關(guān)閉了,那么記憶單元的內(nèi)容在一個(gè)時(shí)間步和下一個(gè)時(shí)間步之間將保持不變。梯度門控結(jié)構(gòu)允許信息在多個(gè)時(shí)間步中保留,因此也允許組流經(jīng)多個(gè)時(shí)間步。這使得 LSTM 模型能夠正確克服大多數(shù)遞歸神經(jīng)網(wǎng)絡(luò)模型發(fā)生的梯度消失。
長(zhǎng)短期記憶網(wǎng)絡(luò)由四個(gè)不同的門組成,用于不同的目的,如下所述:-
1. 忘記門 (f):在忘記門處,輸入與前一個(gè)輸出相結(jié)合,生成一個(gè)介于 0 和 1 之間的分?jǐn)?shù),它決定了需要保留多少前一個(gè)狀態(tài)(或者換句話說(shuō),應(yīng)該忘記多少狀態(tài))。然后,此輸出與前一個(gè)狀態(tài)相乘。注意:激活輸出 1.0 表示“記住所有內(nèi)容”,激活輸出 0.0 表示“忘記所有內(nèi)容”。從另一個(gè)角度來(lái)看,忘記門的更好名稱可能是 “remember gate”
2. 輸入門 (i):Input gate 對(duì)與 forget gate 相同的信號(hào)進(jìn)行操作,但這里的目標(biāo)是決定哪些新信息將進(jìn)入 LSTM 的狀態(tài)。input gate 的輸出(同樣是 0 和 1 之間的分?jǐn)?shù))乘以 tan h block 的輸出,該 block 產(chǎn)生必須添加到先前狀態(tài)的新值。
展開(kāi) ?
本文討論了 “循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) ” 和 “長(zhǎng)短期記憶 (LSTM) ” 的概念,以及它們使用 Python 編程語(yǔ)言和必要的庫(kù)的實(shí)現(xiàn)。
遞歸神經(jīng)網(wǎng)絡(luò)
它是最古老的網(wǎng)絡(luò)之一,創(chuàng)建于 1980 年代,但當(dāng)時(shí)沒(méi)有計(jì)算機(jī)的計(jì)算能力,因此近年來(lái)它沒(méi)有成為眾人矚目的焦點(diǎn),由于高生成數(shù)據(jù)和計(jì)算機(jī)的高計(jì)算能力,它變得非常流行。
RNN 的主要用途是它非常準(zhǔn)確地用于序列和時(shí)間序列數(shù)據(jù)。
它是最強(qiáng)大的算法之一,它具有內(nèi)部存儲(chǔ)器來(lái)存儲(chǔ)以前的數(shù)據(jù)。這是 RNN 結(jié)構(gòu)中的主要關(guān)鍵特征之一。
內(nèi)部存儲(chǔ)器有助于記住重要的事情,這也允許人們預(yù)測(cè)接下來(lái)會(huì)發(fā)生什么 RNN 是一個(gè) “反饋” 神經(jīng)網(wǎng)絡(luò),它在隱藏層有自環(huán)。
RNN 具有短期記憶,它只存儲(chǔ)一小段信息。
?
編輯
架構(gòu)或 RNN
上述架構(gòu)描述了我們可以觀察到 input(x) 傳遞到隱藏層 (c) 的 RNN 功能,其中隱藏層具有自環(huán)來(lái)存儲(chǔ)內(nèi)存,并且信息傳遞給輸出層。在這里,隱藏層的功能將是下一組輸入,以便隱藏層充當(dāng)短期記憶并將信息帶到下一組層。
RNN 的缺點(diǎn)
計(jì)算速度會(huì)很慢
RNN 網(wǎng)絡(luò)只承載短期信息,長(zhǎng)期信息不能被納入。
梯度問(wèn)題趨于消失(Value 太小,模型停止學(xué)習(xí))
長(zhǎng)短期記憶
為了克服 RNN 中遇到的缺點(diǎn),科學(xué)家發(fā)明了一項(xiàng)名為“長(zhǎng)短期記憶”的發(fā)明。LSTM 是 RNN 的子項(xiàng),它可以存儲(chǔ)長(zhǎng)期信息并克服梯度消失的缺點(diǎn)。
1.
展開(kāi) 
長(zhǎng)短期記憶網(wǎng)絡(luò)的相關(guān)專題、標(biāo)簽、搜索
長(zhǎng)短期記憶網(wǎng)絡(luò)的最新內(nèi)容
我們將討論長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTMs),并構(gòu)建一個(gè)用于預(yù)測(cè)文本的語(yǔ)言模型。
讀完這本書(shū)后,你將熟悉PyTorch的功能,并能相對(duì)輕松地利用該庫(kù)訓(xùn)練你的神經(jīng)網(wǎng)絡(luò)。
圖2 關(guān)鍵點(diǎn)數(shù)據(jù)收集
2.3 訓(xùn)練長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM
為了實(shí)現(xiàn)高效且準(zhǔn)確的手語(yǔ)手勢(shì)識(shí)別,本研究選擇了一個(gè)基于長(zhǎng)短期記憶(LSTM)的深度學(xué)習(xí)模型架構(gòu)。具體而言,所選用的模型為 Sequential 模型,其結(jié)構(gòu)包括 3 個(gè) LSTM 層和 2 個(gè)密集層。這種架構(gòu)設(shè)計(jì)旨在充分利用 LSTM 的時(shí)間序列建模能力,同時(shí)通過(guò)密集層進(jìn)行高效的特征提取和分類。
?
本文討論了 “循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) ” 和 “長(zhǎng)短期記憶 (LSTM) ” 的概念,以及它們使用 Python 編程語(yǔ)言和必要的庫(kù)的實(shí)現(xiàn)。
遞歸神經(jīng)網(wǎng)絡(luò)
它是最古老的網(wǎng)絡(luò)之一,創(chuàng)建于 1980 年代,但當(dāng)時(shí)沒(méi)有計(jì)算機(jī)的計(jì)算能力
循環(huán)神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)的反向傳播算法之間的唯一主要區(qū)別與算法的數(shù)學(xué)有關(guān)。
設(shè)為每個(gè)時(shí)間步的預(yù)測(cè)輸出,并為每個(gè)時(shí)間步的實(shí)際輸出。然后每個(gè)時(shí)間步的誤差由下式給出:-
因此,總誤差由所有時(shí)間步的誤差之和給出。
同樣,該值可以計(jì)算為每個(gè)時(shí)間步的梯度之和。
循環(huán)神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)的反向傳播算法之間的唯一主要區(qū)別與算法的數(shù)學(xué)有關(guān)。
設(shè)為每個(gè)時(shí)間步的預(yù)測(cè)輸出,并為每個(gè)時(shí)間步的實(shí)際輸出。然后每個(gè)時(shí)間步的誤差由下式給出:-
因此,總誤差由所有時(shí)間步的誤差之和給出。
同樣,該值可以計(jì)算為每個(gè)時(shí)間步的梯度之和。
為了解決這個(gè)問(wèn)題,開(kāi)發(fā)了遞歸神經(jīng)網(wǎng)絡(luò)的兩種主要變體——長(zhǎng)短期記憶網(wǎng)絡(luò)和門控遞歸單元網(wǎng)絡(luò)。
遞歸神經(jīng)網(wǎng)絡(luò) (RNN) 是一種人工神經(jīng)網(wǎng)絡(luò),旨在處理順序數(shù)據(jù)。與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)不同,RNN 可以在處理當(dāng)前狀態(tài)時(shí)考慮序列的先前狀態(tài),從而允許它們對(duì)數(shù)據(jù)中的時(shí)間依賴關(guān)系進(jìn)行建模。
RNN 的主要特點(diǎn)是隱藏單元之間存在遞歸連接,這允許信息從一個(gè)時(shí)間步傳遞到下一個(gè)時(shí)間步。
雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM),改進(jìn)的鯨魚(yú)優(yōu)化算法優(yōu)化雙向長(zhǎng)短期記憶網(wǎng)絡(luò)( IWOA-BILSTM),采用兩種算法進(jìn)行預(yù)測(cè),基于MATLAB平臺(tái),程序已調(diào)通并帶有注釋,可替換自己的數(shù)據(jù)進(jìn)行計(jì)算。
雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM),改進(jìn)的鯨魚(yú)優(yōu)化算法優(yōu)化雙向長(zhǎng)短期記憶網(wǎng)絡(luò)( IWOA-BILSTM),采用兩種算法進(jìn)行預(yù)測(cè),基于MATLAB平臺(tái),程序已調(diào)通并帶有注釋,可替換自己的數(shù)據(jù)進(jìn)行計(jì)算。
預(yù)測(cè)效果
使用教程
1 基本介紹
1.MATLAB實(shí)現(xiàn)WOA-CNN-LSTM-Attention數(shù)據(jù)分類預(yù)測(cè),運(yùn)行環(huán)境Matlab2021b及以上;
2.基于鯨魚(yú)優(yōu)化算法(WOA)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)和長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)的數(shù)據(jù)分類預(yù)測(cè)程序;
3.多特征輸入單輸出的二分類及多分類模型。
其中,頂層策略推理采用長(zhǎng)短期記憶(LSTM)網(wǎng)絡(luò)模擬人類記憶過(guò)去局勢(shì)變化進(jìn)而預(yù)測(cè)戰(zhàn)場(chǎng)的能力,決定建造/升級(jí)哪些建筑、出動(dòng)哪些兵種以及何時(shí)做哪些事情;中層戰(zhàn)術(shù)管理決定戰(zhàn)斗單位如何編組以及如何部署等問(wèn)題;底層動(dòng)作控制用于處理戰(zhàn)斗相關(guān)的微觀操作。