長短期記憶網絡的案例
22雙向長短期記憶網絡(BiLSTM)，改進的鯨魚優化算法優化雙向長短期記憶網絡 ￥49.9
雙向長短期記憶網絡(BiLSTM)，改進的鯨魚優化算法優化雙向長短期記憶網絡( IWOA-BILSTM)，采用兩種算法進行預測，基于MATLAB平臺，程序已調通并帶有注釋，可替換自己的數據進行計算。
22雙向長短期記憶網絡(BiLSTM)，改進的鯨魚優化算法優化雙向長短期記憶網絡 ￥45.9
雙向長短期記憶網絡(BiLSTM)，改進的鯨魚優化算法優化雙向長短期記憶網絡( IWOA-BILSTM)，采用兩種算法進行預測，基于MATLAB平臺，程序已調通并帶有注釋，可替換自己的數據進行計算。
長短期記憶網絡解釋
先決條件：遞歸神經網絡
為了解決深度遞歸神經網絡中的梯度消失和爆炸問題，開發了許多變體。其中最著名的之一是長短期記憶網絡 （LSTM）。從概念上講，LSTM 循環單元試圖 “記住” 到目前為止看到的所有過去知識，并 “忘記” 不相關的數據。這是通過引入不同的激活函數層（稱為“門”）來實現的，用于不同的目的。每個 LSTM 循環單元還維護一個稱為內部單元狀態的向量，該向量從概念上描述了選擇由前一個 LSTM 循環單元保留的信息。
LSTM 網絡是循環神經網絡 （RNN） 最常用的變體。LSTM 的關鍵組件是存儲單元和門（包括遺忘門和輸入門），存儲單元的內部內容由輸入門和遺忘門調制。假設兩個 segue he 都關閉了，那么記憶單元的內容在一個時間步和下一個時間步之間將保持不變。梯度門控結構允許信息在多個時間步中保留，因此也允許組流經多個時間步。這使得 LSTM 模型能夠正確克服大多數遞歸神經網絡模型發生的梯度消失。
長短期記憶網絡由四個不同的門組成，用于不同的目的，如下所述：-
1. 忘記門 （f）：在忘記門處，輸入與前一個輸出相結合，生成一個介于 0 和 1 之間的分數，它決定了需要保留多少前一個狀態（或者換句話說，應該忘記多少狀態）。然后，此輸出與前一個狀態相乘。注意：激活輸出 1.0 表示“記住所有內容”，激活輸出 0.0 表示“忘記所有內容”。從另一個角度來看，忘記門的更好名稱可能是 “remember gate”
2. 輸入門 （i）：Input gate 對與 forget gate 相同的信號進行操作，但這里的目標是決定哪些新信息將進入 LSTM 的狀態。input gate 的輸出（同樣是 0 和 1 之間的分數）乘以 tan h block 的輸出，該 block 產生必須添加到先前狀態的新值。
展開 長短期記憶網絡解釋
先決條件：遞歸神經網絡
為了解決深度遞歸神經網絡中的梯度消失和爆炸問題，開發了許多變體。其中最著名的之一是長短期記憶網絡 （LSTM）。從概念上講，LSTM 循環單元試圖 “記住” 到目前為止看到的所有過去知識，并 “忘記” 不相關的數據。這是通過引入不同的激活函數層（稱為“門”）來實現的，用于不同的目的。每個 LSTM 循環單元還維護一個稱為內部單元狀態的向量，該向量從概念上描述了選擇由前一個 LSTM 循環單元保留的信息。
LSTM 網絡是循環神經網絡 （RNN） 最常用的變體。LSTM 的關鍵組件是存儲單元和門（包括遺忘門和輸入門），存儲單元的內部內容由輸入門和遺忘門調制。假設兩個 segue he 都關閉了，那么記憶單元的內容在一個時間步和下一個時間步之間將保持不變。梯度門控結構允許信息在多個時間步中保留，因此也允許組流經多個時間步。這使得 LSTM 模型能夠正確克服大多數遞歸神經網絡模型發生的梯度消失。
長短期記憶網絡由四個不同的門組成，用于不同的目的，如下所述：-
1. 忘記門 （f）：在忘記門處，輸入與前一個輸出相結合，生成一個介于 0 和 1 之間的分數，它決定了需要保留多少前一個狀態（或者換句話說，應該忘記多少狀態）。然后，此輸出與前一個狀態相乘。注意：激活輸出 1.0 表示“記住所有內容”，激活輸出 0.0 表示“忘記所有內容”。從另一個角度來看，忘記門的更好名稱可能是 “remember gate”
2. 輸入門 （i）：Input gate 對與 forget gate 相同的信號進行操作，但這里的目標是決定哪些新信息將進入 LSTM 的狀態。input gate 的輸出（同樣是 0 和 1 之間的分數）乘以 tan h block 的輸出，該 block 產生必須添加到先前狀態的新值。
展開 
Tensorflow 中的長短期記憶 （LSTM） RNN
?
本文討論了 “循環神經網絡 （RNN） ” 和 “長短期記憶 （LSTM） ” 的概念，以及它們使用 Python 編程語言和必要的庫的實現。
遞歸神經網絡
它是最古老的網絡之一，創建于 1980 年代，但當時沒有計算機的計算能力，因此近年來它沒有成為眾人矚目的焦點，由于高生成數據和計算機的高計算能力，它變得非常流行。
RNN 的主要用途是它非常準確地用于序列和時間序列數據。
它是最強大的算法之一，它具有內部存儲器來存儲以前的數據。這是 RNN 結構中的主要關鍵特征之一。
內部存儲器有助于記住重要的事情，這也允許人們預測接下來會發生什么 RNN 是一個 “反饋” 神經網絡，它在隱藏層有自環。
RNN 具有短期記憶，它只存儲一小段信息。
?
編輯
架構或 RNN
上述架構描述了我們可以觀察到 input（x） 傳遞到隱藏層 （c） 的 RNN 功能，其中隱藏層具有自環來存儲內存，并且信息傳遞給輸出層。在這里，隱藏層的功能將是下一組輸入，以便隱藏層充當短期記憶并將信息帶到下一組層。
RNN 的缺點
計算速度會很慢
RNN 網絡只承載短期信息，長期信息不能被納入。
梯度問題趨于消失（Value 太小，模型停止學習）
長短期記憶
為了克服 RNN 中遇到的缺點，科學家發明了一項名為“長短期記憶”的發明。LSTM 是 RNN 的子項，它可以存儲長期信息并克服梯度消失的缺點。
1.
展開 前沿研究丨基于神經網絡的機器學習方法在增材制造全鏈條中的應用
NN的架構為：一個具有1024個整流線性神經元的全連接層、兩個分別具有1024個神經元的長短期記憶網絡，以及一個全連接的線性輸出層。這里需要注意的是，選擇長短期記憶網絡是因為它在處理時間序列事件上表現出色。在訓練之后，NN可以很好地重現加載歷史，與有限元方法模擬結果相吻合。從這一點出發，NN可以替代傳統的、運行速度較低的數值模擬方法。
與上述兩種將NN應用于AM設計的情況不同，McComb等試圖建立一個自編碼器（一種從輸入中學習然后嘗試高精度地重建輸入的NN）來學習部件設計的低維表示。除了這種自編碼器之外，還訓練其他3個網絡以確定幾何形狀設計和其他3個增材制造設計屬性（即部件質量、支撐材料質量和構建時間）之間的關系。通過這種方式，可以利用這4個NN的組合來評估為增材制造設計的部件的屬性。將機器學習應用于增材制造設計的另一個有趣的實例與3D打印過程的安全評估有關。Li等訓練卷積神經網絡檢測和識別通過AM制造的非法組件（如支）。當卷積神經網絡構建完善后，將它整合到打印機中以便能在早期檢測相關支的打印，從而及時終止制造過程。對應于原始3D模型的投影結果，作者收集了61 340個二維（2D）圖像的數據集，包括支和其他非支對象。整個CNN模型由兩個卷積層、兩個池化層和一個全連接層組成。根據實驗結果，分類錯誤率可降至1.84%。
（二）實時監測
實時監測從多個傳感器獲取數據，其提供了增材制造過程中產品質量的第一手信息。如果可以同步且準確地分析這些實時數據，那么就能實現對制造過程的全閉環控制。
展開 無人車演進的“小高潮” 密西根大學實現行人3D姿態重建
密西根大學的這項技術論文為《生物長短期記憶網絡：一種生物力學啟發的用于三維行人姿態的遞歸神經網絡和步態預測》，在學術界有不小轟動，但具體到硬件實施與商業落地，可能還需要些時日。
基于python的神經網絡在圖像識別和自然語言處理上的應用
隨著計算機算力的不斷增長，基于機器學習（神經網絡）的方法成為了自然語言處理以及計算機圖像識別的新范式。在自然語言處理方面，RNN、LSTM等方法能夠有效提取語言之間的前后順序和相互關系，在機器翻譯、語言生成等任務取得了非常好的效果。在圖像識別、圖像檢測等方面，CNN等方法能夠有效提取圖像之中的模式，刷新了傳統圖像識別方法的效果。
針對自然語言處理（NLP），最常用的是長短期記憶網絡，通常被稱為 LSTM，是一種特殊的 RNN，能夠學習長期依賴性。LSTM 的關鍵是細胞狀態，細胞狀態有點像傳送帶。它貫穿整個鏈條，只有一些次要的線性作用。信息很容易以不變的方式流過。圖示如下所示：
根據常用數據集，通過編程實現，這里通常使用pytorch進行實現，部分代碼如下所示：
訓練過程中，loss不斷降低，如下圖所示：
可以看出啦，與RNN相比，LSTM的loss值更低，能夠有效有效處理長序列等類型的數據，廣泛應用在機器翻譯，語言生成等方面的應用。
在圖像處理方面，最常用的是卷積神經網絡（CNN），它受到人類視覺神經系統的啟發。能夠有效的將大數據量的圖片降維成小數據量、能夠有效的保留圖片特征，符合圖片處理的原則。普通卷積神經網絡如下所示：
同樣編程實現，部分代碼如下所示：
在訓練過程中可以得到以下結果：
可以看出，訓練過程中，loss值不斷下降，圖像識別率不斷上升，進一步對結果進行可視化，可以加深對卷積神經網絡的理解。首先對卷積神經網絡學習到的權重進行可視化，可以得到如下圖像：
不難看出，卷積神經網絡能夠準確識別出物體，并賦以較高的權重，以影響識別結果。目前卷積神經網絡已廣泛應用于圖片分類、檢索、目標定位檢測等領域。
由以上結果可以看出，神經網絡逐漸成為了人工智能的代名詞，并在各個領域中取得良好的結果。
展開 《使用R的線性回歸：數據建模導論，第二版》
Deep Learning with PyTorch Quick Start Guide: Learn to train and deploy neural network models in Python
2018年12月24日 |ISBN：1789534092 |英文 |160頁 |真實（PDF，EPUB）+代碼 |40 MB
通過構建卷積神經網絡和循環神經網絡，深入了解深度學習和PyTorch，適用于圖像分類、遷移學習和自然語言處理等實際應用場景。
主要特點
清晰簡潔的解釋
提供深度學習模型
的重要見解 關鍵概念的實際演示
書籍簡介
PyTorch 功能強大且易于學習。它提供先進功能，如支持多處理器、分布式和并行計算。這本書是想利用 PyTorch 探索深度學習、利用其強大能力的人士的絕佳入門。
本書將向你介紹PyTorch深度學習庫，并教你如何輕松訓練深度學習模型。我們將使用PyTorch搭建深度學習環境，然后訓練和部署不同類型的深度學習模型，如CNN、RNN和自編碼器。
你將學習如何通過調整超參數來優化模型，以及如何在多處理器和分布式環境中使用 PyTorch。我們將討論長短期記憶網絡（LSTMs），并構建一個用于預測文本的語言模型。
讀完這本書后，你將熟悉PyTorch的功能，并能相對輕松地利用該庫訓練你的神經網絡。
展開 遞歸神經網絡解釋
與傳統的前饋神經網絡不同，RNN 可以在處理當前狀態時考慮序列的先前狀態，從而允許它們對數據中的時間依賴關系進行建模。
RNN 的主要特點是隱藏單元之間存在遞歸連接，這允許信息從一個時間步傳遞到下一個時間步。這意味著每個時間步的隱藏狀態不僅是該時間步輸入的函數，也是前一個隱藏狀態的函數。
在 RNN 中，每個時間步的輸入通常是表示序列當前狀態的向量，每個時間步的輸出是表示該時間步的預測值或分類的向量。隱藏狀態也是一個向量，在每個時間步中，根據當前輸入和之前的隱藏狀態進行更新。
基本的 RNN 架構存在梯度消失問題，這使得在長序列上訓練變得困難。為了解決這個問題，已經開發了幾種 RNN 變體，例如長短期記憶 （LSTM） 和門控循環單元（GRU）網絡，它們使用專門的門來控制通過網絡的信息流并解決梯度消失問題。
RNN 的應用包括語音識別、語言建模、機器翻譯、情感分析和股票預測等。總體而言，RNN 是處理順序數據和建模時間依賴關系的強大工具，使其成為許多機器學習應用程序的重要組成部分。
遞歸神經網絡 （RNN） 的優點是：
處理順序數據的能力：RNN 可以處理不同長度的連續數據，使其在自然語言處理、語音識別和時間序列分析等應用中非常有用。
內存：RNN 能夠通過使用隱藏狀態來保留有關序列中先前輸入的信息。這使 RNN 能夠執行預測句子中的下一個單詞或預測股票價格等任務。
多功能性：RNN 可用于各種任務，包括分類、回歸和序列到序列映射。
靈活性：RNN 可以與其他神經網絡架構（如卷積神經網絡 （CNN） 或前饋神經網絡）結合使用，為特定任務創建混合模型。
但是，RNN 也有一些缺點：
梯度消失問題：梯度消失問題可能發生在 RNN 中，尤其是在具有多層或長序列的 RNN 中，這使得學習長期依賴關系變得困難。
展開 基于Python的LSTM進行實時手語識別
圖2 關鍵點數據收集
2.3 訓練長短期記憶網絡LSTM
為了實現高效且準確的手語手勢識別，本研究選擇了一個基于長短期記憶（LSTM）的深度學習模型架構。具體而言，所選用的模型為 Sequential 模型，其結構包括 3 個 LSTM 層和 2 個密集層。這種架構設計旨在充分利用 LSTM 的時間序列建模能力，同時通過密集層進行高效的特征提取和分類。
由于手語手勢識別屬于多分類問題，因此模型的編譯配置如下：
優化器：選用 Adam 優化器，其自適應學習率的特性能夠有效加速模型的收斂過程。
損失函數：采用 categorical_crossentropy，適用于多分類問題，能夠衡量模型輸出與真實標簽之間的差異。
評估指標：使用 categorical_accuracy，以直觀反映模型在分類任務中的準確率。
為了確保模型能夠充分學習數據中的特征并達到良好的泛化能力，模型在 2000 個訓練周期（epoch）上進行訓練。這一訓練過程旨在通過大量的迭代優化，使模型能夠精準地識別和分類各種手語手勢，從而為實時手語檢測系統提供強大的技術支持。
圖3 LSTM網絡
2.4 系統功能與優勢
本研究開發的實時手語檢測系統具備以下核心功能與顯著優勢：
實時性：系統能夠實時檢測和解釋手語手勢，為用戶提供即時結果，確保溝通的流暢性與高效性。
高準確率：基于長短期記憶（LSTM）神經網絡架構的模型，能夠精準識別各種復雜的手語手勢，顯著提升了識別的準確率。
多手勢支持：系統支持多種手語手勢的識別與解釋，涵蓋了豐富的手語詞匯，從而實現有效的溝通。
易于集成：項目提供了詳細的代碼片段和示例，便于開發者將該系統無縫集成到其他應用程序或項目中，具有良好的擴展性。
展開 
分類預測 | MATLAB實現WOA-CNN-LSTM-Attention數據分類預測
預測效果
使用教程
1 基本介紹
1.MATLAB實現WOA-CNN-LSTM-Attention數據分類預測，運行環境Matlab2021b及以上；
2.基于鯨魚優化算法（WOA）、卷積神經網絡（CNN）和長短期記憶網絡（LSTM）的數據分類預測程序；
3.多特征輸入單輸出的二分類及多分類模型。程序內注釋詳細，直接替換數據就可以用；過WOA優化算法優化學習率、卷積核大小、神經元個數，這3個關鍵參數，以測試集精度最高為目標函數
程序語言為matlab，程序可出分類效果圖，迭代優化圖，混淆矩陣圖；
4.data為數據集，輸入12個特征，分四類；main為主程序，其余為函數文件，無需運行，可在下載區獲取數據和程序內容。
5.適用領域：適用于各種數據分類場景，如滾動軸承故障、變壓器油氣故障、電力系統輸電線路故障區域、絕緣子、配網、電能質量擾動，等領域的識別、診斷和分類。
使用便捷：直接使用EXCEL表格導入數據，無需大幅修改程序。內部有詳細注釋，易于理解。
2 研究內容
注意力機制模塊：
SEBlock（Squeeze-and-Excitation Block）是一種聚焦于通道維度而提出一種新的結構單元，為模型添加了通道注意力機制，該機制通過添加各個特征通道的重要程度的權重，針對不同的任務增強或者抑制對應的通道，以此來提取有用的特征。該模塊的內部操作流程如圖，總體分為三步：首先是Squeeze 壓縮操作，對空間維度的特征進行壓縮，保持特征通道數量不變。融合全局信息即全局池化，并將每個二維特征通道轉換為實數。實數計算公式如公式所示。該實數由k個通道得到的特征之和除以空間維度的值而得，空間維數為H*W。其次是Excitation激勵操作，它由兩層全連接層和Sigmoid函數組成。
展開 AI新貴Gyrfalcon打造多款機器學習芯片
GTI按照楊博士在伯克利制定的路線不斷發展，已經邁出了似乎有風險的一步：正在卷積神經網絡（CNN）上鋪設自己的電路。雖然那時楊博士使用的是“細胞神經網絡”（“cellular neural networks, CNN”，Gyrfalcon依然在專利申請文件中使用該術語）這樣的模型，但其具有獨創性的研究工作圍繞卷積運算展開。
當然，卷積神經網絡在近幾年來成為了最重要的神經網絡設計之一，但這一做法讓芯片不太適用于其他類型的網絡，如“長短期記憶”網絡。
不過，楊林并未對理論上的局限性憂心忡忡。
“CNN是所有其他AI的基礎。”他說。“對此，我們做了研究，發現ResNet和MobileNet在CNN市場中依然占主導地位。”楊林說，其他初創公司正在試圖進軍每一種網絡，“他們試圖覆蓋所有現存及未來的神經網絡，但我還沒有發現任何一家公司能夠成功地兼顧全面性與能效性。”
如果新型網絡出現，占據了大部分的市場份額，“那我們就會針對它推出另外一款芯片。”他說。
一個很有意思的想法是，（如果）按照生產曲線看一看GTI在發展時發生了什么，是什么使其電路更加高效。GTI的初代產品由臺灣半導體制造商28納米制造工藝完成，與英特爾和Nvidia的尖端產品相比，該工藝運用的節點更為陳舊。
“我們正在用28納米的工藝擊敗正在使用7納米或12納米的同行，比如Nvidia。” 楊林說。“我們是如同以卵擊石的反叛者，但我們贏了！”
Marc Naddell,這位GTI的營銷總監補充道：“當我們采用12納米或7納米的工藝時，其他公司將會做什么呢？”
GTI的另一條發展途徑就是將自主研發的芯片授權給其他AI芯片制造商。楊林目前的工作重心并沒有放在這上面，但他看到許多潛力。
展開 智能汽車中人工智能算法應用及其安全綜述
一般地，行為預測算法可以劃分為如下3 類解決方案：基于循環神經網絡的解決方案、基于卷積神經網絡(convolutional neural networks,CNN)的解決方案以及其他方案。文獻[40]使用一組LSTMS 來建模個體車輛的軌跡；另一組用來建模對交互的作用。文獻[41-43]提出了多層長短期記憶網絡(long short-term memory, LSTM)用于序列分類器。文獻[44]提出用于估計加速度的兩層LSTM 網絡。文獻[45]提出多個RNN 網絡，一組LSTM 網絡用于建模個體車輛的軌跡，另一組網絡用于建立當前智能車與其他元素的交互模型。在卷積神經網絡解決方案里，文獻[46]提出一個包含卷積層和全連接層的6 層網絡，用于預測周圍車輛的意圖。文獻[47-48]使用MobileNet V2[49]作為特征提取器，提取到的特征用來預測周圍車輛意圖。文獻[50]先利用兩個骨干CNN 網絡來提取激光雷達和柵格化地圖的特征，然后將3 個不同的網絡分別生成檢測、意圖和軌跡模型。也有學者把RNN 網絡和CNN 網絡相結合用于行為預測。文獻[51]從CNN 中提取圖像空間特征，將特征輸入到LSTM 中，最后饋送至反卷積網絡，輸出和原始輸入同大小的預測圖。
5) 導航與定位
除了上面討論的感知信息外，智能車要實現全局路徑規劃，還需要通過定位系統精準的知道自身在全局環境中的位置。即時定位與建圖(simultaneous localization and mapping, SLAM)技術借助視覺傳感器、慣性測量單元(inertial measurement unit, IMU)等傳感器設備，在智能車駕駛的過程中完成全局地圖的構建，同時定位出自身在全局地圖中的位置。
展開 面向智能駕駛測試的仿真場景構建技術綜述
圖 3 交通模型結構（Wei 和 Liu，2013）
Fig.3 Traffic model structure（Wei and Liu，2013）
Xie 等人（2019）提出了一種基于深度學習的交通車自主換道模型，將深度置信網絡（deep belief network，DBN）和長短期記憶神經網絡（long short-term memory，LSTM）結合，利用下一代仿真數據集（next generation simulation，NGSIM）實際換道數據分別訓練構建換道決策和換道執行兩個模塊，集成模型以準確地預測車輛的換道過程并挖掘換道行為的基本特征。此外，當前應用于智能體系統的數據驅動模擬方法（Kim 等，2016；Sewall 等，2011；Jordao 等，2014），從數據獲取部分或全部運動軌跡，提取智能體運動特征，可生成比傳統規則及基于物理方法更合理或更逼真的模擬結果。
當前基于數據驅動的交通仿真建模研究主要描述了交通微觀行為以達到對真實交通的復現，包括交通擁堵、交通瓶頸和交通波動等現象。側重于宏觀層面或軌跡層面，而對駕駛行為特征的準確真實描述還不足。模型輸入是車輛與周圍關聯車輛之間的相互運動關系，模型輸出是車輛運動的速度或軌跡。然而數據驅動方法也存在一些問題，結果多樣性主要取決于輸入數據的數量，如果輸入數據量很小，則模擬結果將是單調的，過于依賴輸入數據，缺乏通用性; 另一方面數據驅動方法適用于單一類型智能體（如規則車輛） ，難以模擬不同類型的智能體在異構環境中的運動和交互行為，尤其是交通路口模擬運動軌跡和汽車與人類之間的相互作用，故目前還難以替代物理機理模型在通用性方面的作用。
展開 