遞歸神經(jīng)網(wǎng)絡(luò)的案例
遞歸神經(jīng)網(wǎng)絡(luò)解釋
為了處理這種類型的數(shù)據(jù)，提出了遞歸神經(jīng)網(wǎng)絡(luò)的概念。它在結(jié)構(gòu)上與其他人工神經(jīng)網(wǎng)絡(luò)不同。當(dāng)其他網(wǎng)絡(luò)在前饋過程或反向傳播過程中沿線性方向“行進(jìn)”時(shí)，循環(huán)網(wǎng)絡(luò)遵循遞歸關(guān)系而不是前饋傳遞，并使用隨時(shí)間的反向傳播進(jìn)行學(xué)習(xí)。
遞歸神經(jīng)網(wǎng)絡(luò)由多個(gè)固定激活函數(shù)單元組成，每個(gè)時(shí)間步長一個(gè)。每個(gè)單元都有一個(gè)內(nèi)部狀態(tài)，稱為單元的隱藏狀態(tài)。此隱藏狀態(tài)表示網(wǎng)絡(luò)當(dāng)前在給定時(shí)間步中持有的過去知識(shí)。此隱藏狀態(tài)在每個(gè)時(shí)間步更新，以表示網(wǎng)絡(luò)對(duì)過去的了解的變化。使用以下遞歸關(guān)系更新隱藏狀態(tài)：
?編輯
注意：通常，要理解遞歸神經(jīng)網(wǎng)絡(luò)的概念，它通常以展開的形式進(jìn)行說明，本文將遵循此規(guī)范。在每個(gè)時(shí)間步，使用上面給出的遞歸關(guān)系計(jì)算新的隱藏狀態(tài)。這個(gè)新生成的 hidden state 確實(shí)用于生成一個(gè)新的 hidden state，依此類推。遞歸神經(jīng)網(wǎng)絡(luò)的基本工作流程如下：
?編輯
請(qǐng)注意，這是h0網(wǎng)絡(luò)的初始隱藏狀態(tài)。通常，它是一個(gè)零向量，但它也可以有其他值。一種方法是將有關(guān)數(shù)據(jù)的假設(shè)編碼到網(wǎng)絡(luò)的初始隱藏狀態(tài)中。例如，對(duì)于確定知名人士發(fā)表的演講語氣的問題，該人過去演講的語氣可能會(huì)被編碼到初始隱藏狀態(tài)。另一種技術(shù)是將初始隱藏狀態(tài)設(shè)為可訓(xùn)練參數(shù)。盡管這些技術(shù)對(duì)網(wǎng)絡(luò)增加了一點(diǎn)細(xì)微差別，但將隱藏狀態(tài)向量初始化為零通常是一個(gè)有效的選擇。
各經(jīng)常性單位的工作：
將先前隱藏的狀態(tài)向量和當(dāng)前輸入向量輸入。
請(qǐng)注意，由于隱藏狀態(tài)和當(dāng)前輸入被視為向量，因此向量中的每個(gè)元素都放置在與其他維度正交的不同維度中。因此，當(dāng)所涉及的元素為非零且元素位于同一維度時(shí)，每個(gè)元素與另一個(gè)元素相乘時(shí)，僅給出非零值。
元素級(jí)將隱藏狀態(tài)向量乘以隱藏狀態(tài)權(quán)重，并類似地執(zhí)行當(dāng)前輸入向量和當(dāng)前輸入權(quán)重的元素性乘法。這將生成參數(shù)化的隱藏狀態(tài)向量和當(dāng)前輸入向量。請(qǐng)注意，不同向量的權(quán)重存儲(chǔ)在可訓(xùn)練權(quán)重矩陣中。
展開 什么是神經(jīng)網(wǎng)絡(luò)？ ￥2
通過強(qiáng)化學(xué)習(xí)進(jìn)行學(xué)習(xí)
通過與環(huán)境互動(dòng)和以獎(jiǎng)勵(lì)或懲罰的形式提供反饋，網(wǎng)絡(luò)獲得了知識(shí)。找到一種隨著時(shí)間的推移優(yōu)化累積獎(jiǎng)勵(lì)的政策或策略是該網(wǎng)絡(luò)的目標(biāo)。這種經(jīng)常用于游戲和決策應(yīng)用程序。
神經(jīng)網(wǎng)絡(luò)的類型
可以使用七種類型的神經(jīng)網(wǎng)絡(luò)。
前饋神經(jīng)網(wǎng)絡(luò)：前饋神經(jīng)網(wǎng)絡(luò)是一種簡(jiǎn)單的人工神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中數(shù)據(jù)沿單個(gè)方向從輸入移動(dòng)到輸出。它有 input、hidden 和 output 層;沒有反饋循環(huán)。其簡(jiǎn)單的架構(gòu)使其適用于許多應(yīng)用程序，例如回歸和模式識(shí)別。
多層感知器 （MLP）：MLP 是一種具有三層或更多層的前饋神經(jīng)網(wǎng)絡(luò)，包括一個(gè)輸入層、一個(gè)或多個(gè)隱藏層和一個(gè)輸出層。它使用非線性激活函數(shù)。
卷積神經(jīng)網(wǎng)絡(luò) （CNN）：卷積神經(jīng)網(wǎng)絡(luò) （CNN） 是一種專為圖像處理而設(shè)計(jì)的專用人工神經(jīng)網(wǎng)絡(luò)。它采用卷積層從輸入圖像中自動(dòng)學(xué)習(xí)分層特征，從而實(shí)現(xiàn)有效的圖像識(shí)別和分類。CNN 徹底改變了計(jì)算機(jī)視覺，在對(duì)象檢測(cè)和圖像分析等任務(wù)中發(fā)揮著關(guān)鍵作用。
遞歸神經(jīng)網(wǎng)絡(luò) （RNN）：一種用于順序數(shù)據(jù)處理的人工神經(jīng)網(wǎng)絡(luò)類型稱為遞歸神經(jīng)網(wǎng)絡(luò) （RNN）。它適用于上下文依賴關(guān)系至關(guān)重要的應(yīng)用程序，例如時(shí)間序列預(yù)測(cè)和自然語言處理，因?yàn)樗梅答佈h(huán)，使信息能夠在網(wǎng)絡(luò)中生存。
長短期記憶 （LSTM）：LSTM 是一種 RNN，旨在克服訓(xùn)練 RNN 中的梯度消失問題。它使用存儲(chǔ)單元和門選擇性地讀取、寫入和擦除信息。
神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單實(shí)現(xiàn)
代碼案例
?
展開 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用
模塊化神經(jīng)網(wǎng)絡(luò)： 模塊化神經(jīng)網(wǎng)絡(luò)包含一組不同的神經(jīng)網(wǎng)絡(luò)，這些神經(jīng)網(wǎng)絡(luò)獨(dú)立工作以獲得輸出，它們之間沒有交互。與其他網(wǎng)絡(luò)相比，每個(gè)不同的神經(jīng)網(wǎng)絡(luò)通過獲得獨(dú)特的輸入來執(zhí)行不同的子任務(wù)。這種模塊化神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于，它將大型而復(fù)雜的計(jì)算過程分解成更小的組件，從而降低其復(fù)雜性，同時(shí)仍能獲得所需的輸出。
徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)： 徑向基函數(shù)是那些考慮點(diǎn)相對(duì)于中心的距離的函數(shù)。RBF 函數(shù)有兩層。在第一層中，輸入被映射到隱藏層中的所有 Radial 基函數(shù)，然后輸出層在下一步中計(jì)算輸出。徑向基函數(shù)網(wǎng)絡(luò)通常用于對(duì)代表任何潛在趨勢(shì)或函數(shù)的數(shù)據(jù)進(jìn)行建模。
遞歸神經(jīng)網(wǎng)絡(luò)： 遞歸神經(jīng)網(wǎng)絡(luò)保存層的輸出并將此輸出反饋給輸入，以更好地預(yù)測(cè)層的結(jié)果。RNN 中的第一層與前饋神經(jīng)網(wǎng)絡(luò)非常相似，遞歸神經(jīng)網(wǎng)絡(luò)在計(jì)算出第一層的輸出后啟動(dòng)。在這一層之后，每個(gè)單元都會(huì)記住上一步中的一些信息，以便它可以在執(zhí)行計(jì)算時(shí)充當(dāng)存儲(chǔ)單元。
人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用
社交媒體： 人工神經(jīng)網(wǎng)絡(luò)在社交媒體中被大量使用。例如，我們以 Facebook 上的“您可能認(rèn)識(shí)的人” 功能為例，該功能會(huì)推薦您在現(xiàn)實(shí)生活中可能認(rèn)識(shí)的人，以便您可以向他們發(fā)送加好友請(qǐng)求。嗯，這種神奇的效果是通過使用人工神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)的，人工神經(jīng)網(wǎng)絡(luò)會(huì)分析您的個(gè)人資料、您的興趣、您現(xiàn)在的朋友以及他們的朋友以及各種其他因素來計(jì)算您可能認(rèn)識(shí)的人。 機(jī)器學(xué)習(xí) 在社交媒體中的另一個(gè)常見應(yīng)用是 面部識(shí)別 .這是通過在人的臉上找到大約 100 個(gè)參考點(diǎn)，然后使用卷積神經(jīng)網(wǎng)絡(luò)將它們與數(shù)據(jù)庫中已有的參考點(diǎn)進(jìn)行匹配來完成的。
營銷和銷售： 當(dāng)您登錄亞馬遜和 Flipkart 等電子商務(wù)網(wǎng)站時(shí)，他們會(huì)根據(jù)您之前的瀏覽歷史推薦您購買的產(chǎn)品。
展開 長短期記憶網(wǎng)絡(luò)解釋
先決條件：遞歸神經(jīng)網(wǎng)絡(luò)
為了解決深度遞歸神經(jīng)網(wǎng)絡(luò)中的梯度消失和爆炸問題，開發(fā)了許多變體。其中最著名的之一是長短期記憶網(wǎng)絡(luò) （LSTM）。從概念上講，LSTM 循環(huán)單元試圖 “記住” 到目前為止看到的所有過去知識(shí)，并 “忘記” 不相關(guān)的數(shù)據(jù)。這是通過引入不同的激活函數(shù)層（稱為“門”）來實(shí)現(xiàn)的，用于不同的目的。每個(gè) LSTM 循環(huán)單元還維護(hù)一個(gè)稱為內(nèi)部單元狀態(tài)的向量，該向量從概念上描述了選擇由前一個(gè) LSTM 循環(huán)單元保留的信息。
LSTM 網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò) （RNN） 最常用的變體。LSTM 的關(guān)鍵組件是存儲(chǔ)單元和門（包括遺忘門和輸入門），存儲(chǔ)單元的內(nèi)部?jī)?nèi)容由輸入門和遺忘門調(diào)制。假設(shè)兩個(gè) segue he 都關(guān)閉了，那么記憶單元的內(nèi)容在一個(gè)時(shí)間步和下一個(gè)時(shí)間步之間將保持不變。梯度門控結(jié)構(gòu)允許信息在多個(gè)時(shí)間步中保留，因此也允許組流經(jīng)多個(gè)時(shí)間步。這使得 LSTM 模型能夠正確克服大多數(shù)遞歸神經(jīng)網(wǎng)絡(luò)模型發(fā)生的梯度消失。
長短期記憶網(wǎng)絡(luò)由四個(gè)不同的門組成，用于不同的目的，如下所述：-
1. 忘記門 （f）：在忘記門處，輸入與前一個(gè)輸出相結(jié)合，生成一個(gè)介于 0 和 1 之間的分?jǐn)?shù)，它決定了需要保留多少前一個(gè)狀態(tài)（或者換句話說，應(yīng)該忘記多少狀態(tài)）。然后，此輸出與前一個(gè)狀態(tài)相乘。注意：激活輸出 1.0 表示“記住所有內(nèi)容”，激活輸出 0.0 表示“忘記所有內(nèi)容”。從另一個(gè)角度來看，忘記門的更好名稱可能是 “remember gate”
2. 輸入門 （i）：Input gate 對(duì)與 forget gate 相同的信號(hào)進(jìn)行操作，但這里的目標(biāo)是決定哪些新信息將進(jìn)入 LSTM 的狀態(tài)。input gate 的輸出（同樣是 0 和 1 之間的分?jǐn)?shù)）乘以 tan h block 的輸出，該 block 產(chǎn)生必須添加到先前狀態(tài)的新值。
展開 
長短期記憶網(wǎng)絡(luò)解釋
先決條件：遞歸神經(jīng)網(wǎng)絡(luò)
為了解決深度遞歸神經(jīng)網(wǎng)絡(luò)中的梯度消失和爆炸問題，開發(fā)了許多變體。其中最著名的之一是長短期記憶網(wǎng)絡(luò) （LSTM）。從概念上講，LSTM 循環(huán)單元試圖 “記住” 到目前為止看到的所有過去知識(shí)，并 “忘記” 不相關(guān)的數(shù)據(jù)。這是通過引入不同的激活函數(shù)層（稱為“門”）來實(shí)現(xiàn)的，用于不同的目的。每個(gè) LSTM 循環(huán)單元還維護(hù)一個(gè)稱為內(nèi)部單元狀態(tài)的向量，該向量從概念上描述了選擇由前一個(gè) LSTM 循環(huán)單元保留的信息。
LSTM 網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò) （RNN） 最常用的變體。LSTM 的關(guān)鍵組件是存儲(chǔ)單元和門（包括遺忘門和輸入門），存儲(chǔ)單元的內(nèi)部?jī)?nèi)容由輸入門和遺忘門調(diào)制。假設(shè)兩個(gè) segue he 都關(guān)閉了，那么記憶單元的內(nèi)容在一個(gè)時(shí)間步和下一個(gè)時(shí)間步之間將保持不變。梯度門控結(jié)構(gòu)允許信息在多個(gè)時(shí)間步中保留，因此也允許組流經(jīng)多個(gè)時(shí)間步。這使得 LSTM 模型能夠正確克服大多數(shù)遞歸神經(jīng)網(wǎng)絡(luò)模型發(fā)生的梯度消失。
長短期記憶網(wǎng)絡(luò)由四個(gè)不同的門組成，用于不同的目的，如下所述：-
1. 忘記門 （f）：在忘記門處，輸入與前一個(gè)輸出相結(jié)合，生成一個(gè)介于 0 和 1 之間的分?jǐn)?shù)，它決定了需要保留多少前一個(gè)狀態(tài)（或者換句話說，應(yīng)該忘記多少狀態(tài)）。然后，此輸出與前一個(gè)狀態(tài)相乘。注意：激活輸出 1.0 表示“記住所有內(nèi)容”，激活輸出 0.0 表示“忘記所有內(nèi)容”。從另一個(gè)角度來看，忘記門的更好名稱可能是 “remember gate”
2. 輸入門 （i）：Input gate 對(duì)與 forget gate 相同的信號(hào)進(jìn)行操作，但這里的目標(biāo)是決定哪些新信息將進(jìn)入 LSTM 的狀態(tài)。input gate 的輸出（同樣是 0 和 1 之間的分?jǐn)?shù)）乘以 tan h block 的輸出，該 block 產(chǎn)生必須添加到先前狀態(tài)的新值。
展開 什么是徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)？
RBF 網(wǎng)絡(luò)有哪些優(yōu)勢(shì)？
與其他神經(jīng)網(wǎng)絡(luò)相比，RBF 網(wǎng)絡(luò)具有許多優(yōu)勢(shì)，包括設(shè)計(jì)和實(shí)現(xiàn)的簡(jiǎn)單性、對(duì)非線性連接進(jìn)行建模的靈活性以及使用較少數(shù)據(jù)進(jìn)行訓(xùn)練的效率。此外，他們還提供本地化回復(fù)，這在某些情況下是有利的。
如何在 RBF 網(wǎng)絡(luò)中訓(xùn)練輸出權(quán)重？
訓(xùn)練輸出權(quán)重的最常用方法是線性回歸。一種流行的方法是通過使用隱藏層輸出矩陣的偽逆求解權(quán)重來最小化預(yù)期輸出和實(shí)際目標(biāo)值之間的誤差。
RBF 網(wǎng)絡(luò)可以用于深度學(xué)習(xí)嗎？
RBF 網(wǎng)絡(luò)的概念可以應(yīng)用于更深的設(shè)計(jì)，即使它們通常是具有單個(gè)隱藏層的淺層網(wǎng)絡(luò)。另一方面，與卷積神經(jīng)網(wǎng)絡(luò) （CNN） 和遞歸神經(jīng)網(wǎng)絡(luò) （RNN） 等其他神經(jīng)網(wǎng)絡(luò)類型相比，它們專門用于處理圖像、序列和其他高維數(shù)據(jù)等復(fù)雜數(shù)據(jù)結(jié)構(gòu)，它們?cè)谏疃葘W(xué)習(xí)中的使用頻率較低。
?
展開 無人車演進(jìn)的“小高潮” 密西根大學(xué)實(shí)現(xiàn)行人3D姿態(tài)重建
密西根大學(xué)的這項(xiàng)技術(shù)論文為《生物長短期記憶網(wǎng)絡(luò)：一種生物力學(xué)啟發(fā)的用于三維行人姿態(tài)的遞歸神經(jīng)網(wǎng)絡(luò)和步態(tài)預(yù)測(cè)》，在學(xué)術(shù)界有不小轟動(dòng)，但具體到硬件實(shí)施與商業(yè)落地，可能還需要些時(shí)日。
顯式有限元-神經(jīng)網(wǎng)絡(luò)框架及神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)應(yīng)力誤差分析
因此，我們將基于神經(jīng)網(wǎng)絡(luò)的本構(gòu)模型與顯式有限元求解器，以繞過對(duì)切向矩陣的需求。顯式有限元求解的控制方程：
通過計(jì)算更新加速度，基于時(shí)間積分，更新節(jié)點(diǎn)位移即可。
這項(xiàng)工作展示了從雙軸、擋土墻和剛性條形基腳模擬中提取的宏觀結(jié)果和高斯點(diǎn)應(yīng)力-應(yīng)變曲線。
首先，將神經(jīng)網(wǎng)絡(luò)在IME模型（Isotropic elastic, von-Mises yield surface and Exponential hardening）模擬得到的數(shù)據(jù)集上訓(xùn)練。然后將神經(jīng)網(wǎng)絡(luò)嵌入到顯式FEM中計(jì)算，下圖展示神經(jīng)網(wǎng)絡(luò)重現(xiàn)IME模型的模擬結(jié)果。
人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡(jiǎn)稱ANNs）-Python中實(shí)現(xiàn)人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程 ￥5
<p class="ql-align-center"><br></p><p>人工神經(jīng)網(wǎng)絡(luò)（ANN）是一種受大腦啟發(fā)的信息處理模式。就像人類一樣，ANN通過示例來學(xué)習(xí)。通過學(xué)習(xí)過程，ANN被配置用于特定應(yīng)用，例如模式識(shí)別或數(shù)據(jù)分類。學(xué)習(xí)過程主要涉及調(diào)整神經(jīng)元之間存在的突觸連接。</p><p><img src="https://img.jishulink.com/msimage/202410/ebd1b7ae2d7209c566a82da5be29f702.png"></p><p>大腦由數(shù)千億個(gè)稱為神經(jīng)元的細(xì)胞組成。這些神經(jīng)元通過突觸連接在一起，突觸只不過是一個(gè)神經(jīng)元可以向另一個(gè)神經(jīng)元發(fā)送沖動(dòng)的連接。當(dāng)一個(gè)神經(jīng)元向另一個(gè)神經(jīng)元發(fā)送興奮性信號(hào)時(shí)，該信號(hào)將被添加到該神經(jīng)元的所有其他輸入中。如果它超過給定的閾值，那么它將導(dǎo)致目標(biāo)神經(jīng)元向前發(fā)射動(dòng)作信號(hào)——這就是思考過程內(nèi)部的工作方式。</p><p>在計(jì)算機(jī)科學(xué)中，我們通過使用矩陣在計(jì)算機(jī)上創(chuàng)建 “網(wǎng)絡(luò)” 來模擬這個(gè)過程。這些網(wǎng)絡(luò)可以理解為神經(jīng)元的抽象，而沒有考慮所有生物復(fù)雜性。為簡(jiǎn)單起見，我們只對(duì)一個(gè)簡(jiǎn)單的 NN 進(jìn)行建模，其中兩層能夠解決線性分類問題。
展開 人工神經(jīng)網(wǎng)絡(luò)（ANN）（網(wǎng)絡(luò)架構(gòu)）-4 ￥2
人工神經(jīng)網(wǎng)絡(luò)（ANN）（網(wǎng)絡(luò)架構(gòu)）-4
人工神經(jīng)網(wǎng)絡(luò)（ANN）：這是一種受人腦啟發(fā)的信息處理范式。ANN通過示例學(xué)習(xí)，就像人類一樣。通過學(xué)習(xí)過程，ANN可以被配置用于特定應(yīng)用，如模式識(shí)別或數(shù)據(jù)分類。學(xué)習(xí)過程主要涉及調(diào)整神經(jīng)元之間的突觸連接。
ANN的類型：
ANN有多種架構(gòu)，每種架構(gòu)都有其優(yōu)勢(shì)和劣勢(shì)。常見的架構(gòu)包括：
o 前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks）：這是最簡(jiǎn)單的ANN架構(gòu)，信息從輸入層單向流動(dòng)到輸出層。各層是全連接的，即一層中的每個(gè)神經(jīng)元都與下一層的所有神經(jīng)元相連。
o 循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，簡(jiǎn)稱RNNs）：這些網(wǎng)絡(luò)具有“記憶”組件，信息可以在網(wǎng)絡(luò)中循環(huán)流動(dòng)。這使得網(wǎng)絡(luò)能夠處理數(shù)據(jù)序列，如時(shí)間序列或語音。
o 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡(jiǎn)稱CNNs）：這些網(wǎng)絡(luò)旨在處理具有網(wǎng)格拓?fù)浣Y(jié)構(gòu)的數(shù)據(jù)，如圖像。層由卷積層組成，它們學(xué)習(xí)檢測(cè)數(shù)據(jù)中的特定特征，以及池化層，它們減少數(shù)據(jù)的空間維度。
o 自編碼器（Autoencoders）：這些神經(jīng)網(wǎng)絡(luò)用于無監(jiān)督學(xué)習(xí)。它們由編碼器組成，將輸入數(shù)據(jù)映射到低維表示，以及解碼器，將表示映射回原始數(shù)據(jù)。
o 生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，簡(jiǎn)稱GANs）：這些神經(jīng)網(wǎng)絡(luò)用于生成建模。它們由兩部分組成：一個(gè)生成器，學(xué)習(xí)生成新的數(shù)據(jù)樣本，以及一個(gè)鑒別器，學(xué)習(xí)區(qū)分真實(shí)和生成的數(shù)據(jù)。
ANN模型的三個(gè)實(shí)體：
o 互連（Interconnections）：互連定義了ANN中處理元素（神經(jīng)元）如何相互連接。這些處理元素的排列和互連的幾何形狀在ANN中非常重要。
展開 卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 ￥5
?
?
卷積神經(jīng)網(wǎng)絡(luò) （CNN） 是計(jì)算機(jī)視覺中常用的一種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)。計(jì)算機(jī)視覺是人工智能的一個(gè)領(lǐng)域，它使計(jì)算機(jī)能夠理解和解釋圖像或視覺數(shù)據(jù)。
在機(jī)器學(xué)習(xí)方面，人工神經(jīng)網(wǎng)絡(luò)表現(xiàn)非常出色。神經(jīng)網(wǎng)絡(luò)用于各種數(shù)據(jù)集，如圖像、音頻和文本。不同類型的神經(jīng)網(wǎng)絡(luò)用于不同的目的，例如，為了預(yù)測(cè)單詞序列，我們使用循環(huán)神經(jīng)網(wǎng)絡(luò)，更準(zhǔn)確地說是 LSTM，同樣，對(duì)于圖像分類，我們使用卷積神經(jīng)網(wǎng)絡(luò)。在本博客中，我們將為 CNN 構(gòu)建一個(gè)基本構(gòu)建塊。
?
目錄
神經(jīng)網(wǎng)絡(luò)：層和功能
卷積神經(jīng)網(wǎng)絡(luò)
CNN 架構(gòu)
卷積層是如何工作的？
卷積的數(shù)學(xué)概述
用于構(gòu)建 ConvNet 的層
神經(jīng)網(wǎng)絡(luò)：層和功能
在常規(guī)神經(jīng)網(wǎng)絡(luò)中，有三種類型的層：
Input Layers（輸入層）：這是我們?yōu)槟Ｐ吞峁┹斎氲膶印Ｔ搶又械?em>神經(jīng)元數(shù)量等于我們數(shù)據(jù)中的特征總數(shù)（圖像中的像素?cái)?shù)）。
隱藏層：然后，來自 Input 層的輸入被饋送到隱藏層中。根據(jù)我們的模型和數(shù)據(jù)大小，可以有許多隱藏層。每個(gè)隱藏層可以有不同數(shù)量的神經(jīng)元，這些神經(jīng)元通常大于特征的數(shù)量。每一層的輸出是通過矩陣乘前一層的輸出與該層的可學(xué)習(xí)權(quán)重，然后加上可學(xué)習(xí)偏差，然后是激活函數(shù)來計(jì)算的，這使得網(wǎng)絡(luò)非線性。
輸出層：然后將隱藏層的輸出饋送到 sigmoid 或 softmax 等 logistic 函數(shù)中，該函數(shù)將每個(gè)類的輸出轉(zhuǎn)換為每個(gè)類的概率分?jǐn)?shù)。
將數(shù)據(jù)輸入模型并從上述步驟獲得每一層的輸出稱為前饋，然后我們使用誤差函數(shù)計(jì)算誤差，一些常見的誤差函數(shù)是交叉熵、平方損失誤差等。
展開 
卷積神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)原理
來源 |
深度學(xué)習(xí)這件小事
計(jì)算機(jī)視覺技術(shù)在日常生活中有著非常普遍的應(yīng)用：發(fā)朋友圈之前自動(dòng)修圖、網(wǎng)上購物時(shí)刷臉支付……在這一系列成功的應(yīng)用背后，卷積神經(jīng)網(wǎng)絡(luò)功不可沒。本文將介紹卷積神經(jīng)網(wǎng)絡(luò)背后的數(shù)學(xué)原理。
在自動(dòng)駕駛、醫(yī)療以及零售這些領(lǐng)域，計(jì)算機(jī)視覺讓我們完成了一些直到最近都被認(rèn)為是不可能的事情。今天，自動(dòng)駕駛汽車和無人商店聽起來不再那么夢(mèng)幻。事實(shí)上，我們每天都在使用計(jì)算機(jī)視覺技術(shù)——我們用自己的面孔解鎖手機(jī)，將圖片上傳到社交網(wǎng)絡(luò)之前進(jìn)行自動(dòng)修圖……卷積神經(jīng)網(wǎng)絡(luò)可能是這一巨大成功背后的關(guān)鍵組成模塊。這次，我們將要使用卷積神經(jīng)網(wǎng)絡(luò)的思想來拓寬我們對(duì)神經(jīng)網(wǎng)絡(luò)工作原理的理解。打個(gè)預(yù)防針，本文包含相當(dāng)復(fù)雜的數(shù)學(xué)方程，但是，你也不必為自己不喜歡線性代數(shù)和微積分而沮喪。我的目標(biāo)并不是讓你記住這些公式，而是為你提供一些關(guān)于底層原理的直覺認(rèn)知。
簡(jiǎn)介
過去我們接觸到了密集連接的神經(jīng)網(wǎng)絡(luò)。那些神經(jīng)網(wǎng)絡(luò)中，所有的神經(jīng)元被分成了若干組，形成了連續(xù)的層。每個(gè)這樣的單元都與相鄰層的每一個(gè)單獨(dú)的神經(jīng)元相連接。下圖所示的是這樣一個(gè)架構(gòu)。
圖 1：密集連接的神經(jīng)網(wǎng)絡(luò)架構(gòu)
當(dāng)我們基于一個(gè)有限的固定特征集合解決分類問題的時(shí)候，這種方法是很奏效的——例如，我們根據(jù)足球運(yùn)動(dòng)員在比賽中記錄的統(tǒng)計(jì)數(shù)據(jù)來預(yù)測(cè)他的位置。但是，當(dāng)處理照片的時(shí)候，問題變得更加復(fù)雜。當(dāng)然，我們可以把每個(gè)像素的亮度視作一個(gè)單獨(dú)的特征，然后將它作為密集網(wǎng)絡(luò)的輸入傳遞進(jìn)去。不幸的是，為了讓它能夠應(yīng)付一張典型的智能手機(jī)照片，我們的網(wǎng)絡(luò)必須包含數(shù)千萬甚至上億的神經(jīng)元。另一方面，雖然我們可以將照片縮小，但是我們也會(huì)在這個(gè)過程中損失有價(jià)值的信息。
展開 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)
<div contenteditable="false" width="100%">
<p><img src="~/assets/images/editor/attachment.png" style="vertical-align: middle"> <a href="https://img.jishulink.com/202401/attachment/4597ed85bdc047aab202984f62dd7856.pdf" target="_blank" rel="nofollow">Deep Learning in Neural Networks-An Overview.pdf</a></p>
</div><p><br></p>
展開 什么是 Perceptron 最簡(jiǎn)單的人工神經(jīng)網(wǎng)絡(luò) ￥3
Perceptron 是最簡(jiǎn)單的人工神經(jīng)網(wǎng)絡(luò)架構(gòu)之一，由 Frank Rosenblatt 于 1957 年提出。它主要用于二進(jìn)制分類。
當(dāng)時(shí)，統(tǒng)計(jì)機(jī)器學(xué)習(xí)和常規(guī)編程等傳統(tǒng)方法通常用于預(yù)測(cè)。盡管 Perceptron 模型是最簡(jiǎn)單的人工神經(jīng)網(wǎng)絡(luò)形式之一，但事實(shí)證明，該模型在解決特定分類問題方面非常有效，為 AI 和機(jī)器學(xué)習(xí)的進(jìn)步奠定了基礎(chǔ)。
本文旨在提供感知器模型的基礎(chǔ)知識(shí)、其架構(gòu)、工作原理和應(yīng)用，涵蓋使用 PyTorch 的理論和實(shí)際實(shí)現(xiàn)。
目錄
? 什么是感知器？
? Perceptron 的組件
? Perceptron 是如何工作的？
? 構(gòu)建和訓(xùn)練單層感知器模型
? 將 Perceptron 與 PyTorch 結(jié)合使用進(jìn)行二進(jìn)制分類
? Perceptron 的限制
1 什么是感知器？
感知器是一種 執(zhí)行二進(jìn)制分類的神經(jīng)網(wǎng)絡(luò)，它將輸入特征映射到輸出決策，通常將數(shù)據(jù)分為兩類之一，例如 0 或 1。
Perceptron 由單層輸入節(jié)點(diǎn)組成，這些節(jié)點(diǎn)完全連接到一層輸出節(jié)點(diǎn)。它特別擅長學(xué)習(xí)線性可分模式。它利用了一種稱為閾值邏輯單元 （TLU） 的人工神經(jīng)元變體，該神經(jīng)元由 McCulloch 和 Walter Pitts 在 1940 年代首次引入。這個(gè)基礎(chǔ)模型在開發(fā)更高級(jí)的神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)算法方面發(fā)揮了至關(guān)重要的作用。
2 感知器的類型
1. 單層感知器是一種僅限于學(xué)習(xí)線性可分離模式的感知器。它對(duì)于數(shù)據(jù)可以通過直線劃分為不同類別的任務(wù)非常有效。雖然它的簡(jiǎn)單性很強(qiáng)大，但它難以解決更復(fù)雜的問題，其中輸入和輸出之間的關(guān)系是非線性的。
2. 多層感知器具有增強(qiáng)的處理能力，因?yàn)樗鼈冇蓛蓪踊蚨鄬咏M成，擅長處理數(shù)據(jù)中更復(fù)雜的模式和關(guān)系。
展開 神經(jīng)網(wǎng)絡(luò)工具箱的使用 ￥1
神經(jīng)網(wǎng)絡(luò)工具箱的使用
遞歸神經(jīng)網(wǎng)絡(luò)的相關(guān)專題、標(biāo)簽、搜索
遞歸神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)算法人工神經(jīng)網(wǎng)絡(luò) 遞歸神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)神經(jīng)網(wǎng)絡(luò)算法matlab神經(jīng)網(wǎng)絡(luò)算法螺栓energy plus神經(jīng)網(wǎng)絡(luò)顫振預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)顫振神經(jīng)網(wǎng)絡(luò)算法matlab神經(jīng)網(wǎng)絡(luò)算法matlab神神經(jīng)神經(jīng)網(wǎng)絡(luò)
