神經網絡的案例
顯式有限元-神經網絡框架及神經網絡預測應力誤差分析
因此，我們將基于神經網絡的本構模型與顯式有限元求解器，以繞過對切向矩陣的需求。顯式有限元求解的控制方程：
通過計算更新加速度，基于時間積分，更新節點位移即可。
這項工作展示了從雙軸、擋土墻和剛性條形基腳模擬中提取的宏觀結果和高斯點應力-應變曲線。
首先，將神經網絡在IME模型（Isotropic elastic, von-Mises yield surface and Exponential hardening）模擬得到的數據集上訓練。然后將神經網絡嵌入到顯式FEM中計算，下圖展示神經網絡重現IME模型的模擬結果。
什么是神經網絡？ ￥2
?
神經網絡是模擬人腦復雜功能的計算模型。神經網絡由互連的節點或神經元組成，它們處理數據并從中學習，從而支持機器學習中的模式識別和決策等任務。本文詳細探討了神經網絡、神經網絡的工作原理、架構等。
目錄
神經網絡的演變
什么是神經網絡？
神經網絡的工作原理是什么？
學習神經網絡
神經網絡的類型
神經網絡的簡單實現
神經網絡的演變
自 1940 年代以來，神經網絡領域取得了許多值得注意的進步：
1940 年代至 1950 年代：早期概念
神經網絡始于 McCulloch 和 Pitts 引入第一個人工神經元數學模型。但計算限制使進展變得困難。
1960 年代至 1970 年代：感知器
這個時代由 Rosenblatt 在感知器方面的工作定義。 感知器是單層網絡，其適用性僅限于可以單獨線性解決的問題。
1980 年代：反向傳播和聯結主義
Rumelhart、Hinton 和 Williams 發明的反向傳播方法使多層網絡訓練成為可能。由于強調通過互連節點進行學習，聯結主義獲得了吸引力。
1990 年代：繁榮與寒冬
隨著神經網絡在圖像識別、金融和其他領域的應用而蓬勃發展。然而，由于高昂的計算成本和夸大的期望，神經網絡研究確實經歷了一個“冬天”。
2000 年代：復興和深度學習
更大的數據集、創新的結構和增強的處理能力刺激了它的卷土重來。 深度學習通過利用多個層，在許多學科中顯示出驚人的效果。
2010 年代至今：深度學習占主導地位
卷積神經網絡 （CNN） 和遞歸神經網絡 （RNN） 這兩種深度學習架構主導了機器學習。游戲、圖片識別和自然語言處理方面的創新證明了他們的強大功能。
展開 卷積神經網絡簡介 ￥5
?
?
卷積神經網絡 （CNN） 是計算機視覺中常用的一種深度學習神經網絡架構。計算機視覺是人工智能的一個領域，它使計算機能夠理解和解釋圖像或視覺數據。
在機器學習方面，人工神經網絡表現非常出色。神經網絡用于各種數據集，如圖像、音頻和文本。不同類型的神經網絡用于不同的目的，例如，為了預測單詞序列，我們使用循環神經網絡，更準確地說是 LSTM，同樣，對于圖像分類，我們使用卷積神經網絡。在本博客中，我們將為 CNN 構建一個基本構建塊。
?
目錄
神經網絡：層和功能
卷積神經網絡
CNN 架構
卷積層是如何工作的？
卷積的數學概述
用于構建 ConvNet 的層
神經網絡：層和功能
在常規神經網絡中，有三種類型的層：
Input Layers（輸入層）：這是我們為模型提供輸入的層。該層中的神經元數量等于我們數據中的特征總數（圖像中的像素數）。
隱藏層：然后，來自 Input 層的輸入被饋送到隱藏層中。根據我們的模型和數據大小，可以有許多隱藏層。每個隱藏層可以有不同數量的神經元，這些神經元通常大于特征的數量。每一層的輸出是通過矩陣乘前一層的輸出與該層的可學習權重，然后加上可學習偏差，然后是激活函數來計算的，這使得網絡非線性。
輸出層：然后將隱藏層的輸出饋送到 sigmoid 或 softmax 等 logistic 函數中，該函數將每個類的輸出轉換為每個類的概率分數。
將數據輸入模型并從上述步驟獲得每一層的輸出稱為前饋，然后我們使用誤差函數計算誤差，一些常見的誤差函數是交叉熵、平方損失誤差等。
展開 人工神經網絡及其應用
它有神經元或神經細胞，它們是大腦和神經系統的主要單位。這些神經元接收來自外部世界的感覺輸入，然后對其進行處理，然后提供輸出，這些輸出可能充當下一個神經元的輸入。
這些神經元中的每一個都在突觸處以復雜的排列方式與其他神經元相連。現在，您是否想知道這與 人工神經網絡有什么關系？讓我們詳細看看他們是什么以及他們如何學習信息。
人工神經網絡
人工神經網絡包含稱為 units 的人工神經元。這些單元被安排在一系列層中，這些層共同構成了系統中的整個人工神經網絡。一個層只能有十幾個單元或數百萬個單元，因為這取決于復雜神經網絡如何學習數據集中的隱藏模式。通常，人工神經網絡有一個輸入層、一個輸出層以及一個隱藏層。輸入層接收來自外部世界的數據，神經網絡需要分析或了解這些數據。然后，此數據通過一個或多個隱藏層，這些隱藏層將輸入轉換為對輸出層有價值的數據。最后，輸出層以人工神經網絡對提供的輸入數據的響應形式提供輸出。
在大多數神經網絡中，單元從一層到另一層是相互連接的。這些連接中的每一個都有權重，用于確定一個單元對另一個單元的影響。隨著數據從一個單元傳輸到另一個單元，神經網絡會越來越多地了解數據，最終導致輸出層的輸出。
?
編輯
神經網絡架構
人類神經元的結構和作是人工神經網絡的基礎。它也被稱為神經網絡或神經網絡。人工神經網絡的輸入層是第一層，它接收來自外部源的輸入并將其釋放到隱藏層，即第二層。在隱藏層中，每個神經元接收來自上一層神經元的輸入，計算加權和，并將其發送到下一層的神經元。
展開 
關于神經網絡的簡介
關于神經網絡的簡介
別以為名字中帶“網絡”二字，神經網絡就是一種設備，事實上神經網絡是一種模擬人腦結構的算法模型。其原理就在于將信息分布式存儲和并行協同處理。雖然每個單元的功能非常簡單，但大量單元構成的網絡系統就能實現非常復雜的數據計算，并且還是一個高度復雜的非線性動力學習系統。
神經網絡的結構更接近于人腦，具有大規模并行、分布式存儲和處理、自組織、自適應和自學能力。神經網絡的用途非常廣泛，在系統辨識、模式識別、智能控制等領域都能一展身手。而現在最吸引IT巨頭們關注的就是神經網絡在智能控制領域中的自動學習功能，特別適合在需要代入一定條件，并且信息本身是不確定和模糊的情況下，進行相關問題的處理，例如語音識別。
神經網絡的起源要追溯到上世紀40年代，心理學家麥克庫羅克和數理邏輯學家皮茲首先提出了神經元的數學模型。此模型沿用至今，并且直接影響著這一領域研究的進展。因而，他們兩人就是神經網絡研究的先驅。隨著計算機的高速發展，人們以為人工智能、模式識別等問題在計算機面前都是小菜一碟。再加上當時電子技術比較落后，用電子管或晶體管制作出結構復雜的神經網絡是完全不可能的，所以神經網絡的研究一度陷于低潮當中。到了20世紀80年代，隨著大規模集成電路的發展，讓神經網絡的應用成為了可能。而且人們也看到了神經網絡在智能控制、語音識別方面的潛力。但是這一技術的發展仍然緩慢，而硬件性能的發展以及應用方式的變化，再加上谷歌、微軟、IBM等大公司的持續關注，神經網絡終于又火了起來。本該在上世紀80年代就出現的諸多全新語音技術，直到最近才與我們見面，神經網絡已經成為最熱門的研究領域之一。
在國際會議上，與會人員來自世界各地，同聲傳譯就成了必不可少的溝通方式。但是到目前為止，同聲傳譯基本上都是靠人來完成的，譯員在不打斷講話者演講的情況下，不停地將其講話內容傳譯給聽眾。
展開 卷積神經網絡（CNN）簡介-1 ￥2
卷積神經網絡簡介
卷積神經網絡（CNN）是計算機視覺中常用的一種深度學習神經網絡 架構。計算機視覺是人工智能的一個領域，它使計算機能夠理解和解釋圖像或視覺數據。
在機器學習方面，人工神經網絡 表現非常出色。神經網絡用于各種數據集，如圖像、音頻和文本。不同類型的神經網絡用于不同的目的，例如，為了預測單詞序列，我們使用循環神經網絡 ，更準確地說是LSTM ，同樣，對于圖像分類，我們使用卷積神經網絡。在本博客中，我們將為CNN構建一個基本構建塊。
目錄
? 神經網絡：層和功能
? 卷積神經網絡
o CNN 架構
o 卷積層是如何工作的？
o 卷積的數學概述
o 用于構建 ConvNet 的層
? 示例：將 CNN 應用于圖像
? 卷積神經網絡 （CNN） 的優缺點
? 神經網絡：層和功能
在常規神經網絡中，有三種類型的層：
1. Input Layers（輸入層）：這是我們為模型提供輸入的層。該層中的神經元數量等于我們數據中的特征總數（圖像中的像素數）。
1. 隱藏層：然后，來自Input層的輸入被饋送到隱藏層中。根據我們的模型和數據大小，可以有許多隱藏層。每個隱藏層可以有不同數量的神經元，這些神經元通常大于特征的數量。每一層的輸出是通過矩陣乘前一層的輸出與該層的可學習權重，然后加上可學習偏差，然后是激活函數來計算的，這使得網絡非線性。
1. 輸出層：然后將隱藏層的輸出饋送到sigmoid或softmax等logistic函數中，該函數將每個類的輸出轉換為每個類的概率分數。
將數據輸入模型并從上述步驟獲得每一層的輸出稱為前饋 ，然后我們使用誤差函數計算誤差，一些常見的誤差函數是交叉熵、平方損失誤差等。error 函數用于測量網絡的性能。之后，我們通過計算導數來反向傳播到模型中。
展開 人工神經網絡（ANN）（網絡架構）-4 ￥2
人工神經網絡（ANN）（網絡架構）-4
人工神經網絡（ANN）：這是一種受人腦啟發的信息處理范式。ANN通過示例學習，就像人類一樣。通過學習過程，ANN可以被配置用于特定應用，如模式識別或數據分類。學習過程主要涉及調整神經元之間的突觸連接。
ANN的類型：
ANN有多種架構，每種架構都有其優勢和劣勢。常見的架構包括：
o 前饋神經網絡（Feedforward Neural Networks）：這是最簡單的ANN架構，信息從輸入層單向流動到輸出層。各層是全連接的，即一層中的每個神經元都與下一層的所有神經元相連。
o 循環神經網絡（Recurrent Neural Networks，簡稱RNNs）：這些網絡具有“記憶”組件，信息可以在網絡中循環流動。這使得網絡能夠處理數據序列，如時間序列或語音。
o 卷積神經網絡（Convolutional Neural Networks，簡稱CNNs）：這些網絡旨在處理具有網格拓撲結構的數據，如圖像。層由卷積層組成，它們學習檢測數據中的特定特征，以及池化層，它們減少數據的空間維度。
o 自編碼器（Autoencoders）：這些神經網絡用于無監督學習。它們由編碼器組成，將輸入數據映射到低維表示，以及解碼器，將表示映射回原始數據。
o 生成對抗網絡（Generative Adversarial Networks，簡稱GANs）：這些神經網絡用于生成建模。它們由兩部分組成：一個生成器，學習生成新的數據樣本，以及一個鑒別器，學習區分真實和生成的數據。
ANN模型的三個實體：
o 互連（Interconnections）：互連定義了ANN中處理元素（神經元）如何相互連接。這些處理元素的排列和互連的幾何形狀在ANN中非常重要。
展開 AI神經網絡在旋轉機械葉片設計、仿真及優化中的應用。
本文介紹了使用AI神經網絡進行旋轉機械葉片設計、仿真和優化的方法。通過建立神經網絡模型，實現了對葉片性能的準確預測和優化。本文的研究結果表明，AI神經網絡能夠有效地應用于旋轉機械葉片的設計、仿真和優化過程，并可提高葉片的性能和效率。
旋轉機械葉片是各種動力設備的關鍵部件，如航空發動機、燃氣輪機、壓縮機等。這些設備的性能和效率往往受到旋轉機械葉片的設計和性能的影響。因此，如何提高旋轉機械葉片的性能和效率是當前研究的熱點問題。傳統的旋轉機械葉片設計方法通?；诮涷灮蛟囼?，不僅耗費大量時間和資源，而且不能保證設計的最優性。因此，研究人員嘗試利用人工智能技術，特別是神經網絡技術，對旋轉機械葉片進行設計和優化。
近年來，國內外研究者對旋轉機械葉片設計、仿真和優化方法進行了廣泛研究。傳統的旋轉機械葉片設計方法主要基于經驗公式和試驗方法，如采用流體力學、熱力學和結構力學等相關理論進行葉片設計和優化。然而，這些方法往往存在耗時長、成本高、無法保證最優性等問題，因此限制了其應用范圍。近年來，隨著人工智能技術的發展，特別是神經網絡技術的應用，為旋轉機械葉片的設計和優化提供了新的解決方案。
神經網絡是一種模擬人腦神經元網絡的結構和功能的計算模型，具有自學習、自組織和適應性等特點。在旋轉機械葉片設計、仿真和優化中，神經網絡可以用于建立模型，實現對葉片性能的預測和優化。本文采用深度學習框架下的卷積神經網絡（CNN）和循環神經網絡（RNN）相結合的方法，建立了一個多層次、多尺度的神經網絡模型，用于旋轉機械葉片的設計、仿真和優化。
結合神經網絡進行葉片優化設計主要有以下幾方面內容：
1) 應用神經網絡模型：當模型經過足夠的訓練和驗證后，可以將其應用于新的旋轉機械葉片的設計。
展開 遞歸神經網絡解釋
編輯
在循環網絡的訓練期間，網絡還會在每個時間步長生成一個輸出。此輸出用于使用梯度下降訓練網絡。
?編輯
所涉及的反向傳播類似于典型人工神經網絡中使用的反向傳播，但有一些細微的變化。這些變化被記錄為：-設網絡在任何時間步的預測輸出為?編輯 ，實際輸出為?編輯 。然后每個時間步的誤差由下式給出：
?編輯
誤差由所有時間步的誤差之和給出。
?編輯
?編輯
同樣，該值?編輯 可以計算為每個時間步的梯度之和。
?編輯
使用微積分的鏈式法則，并利用時間步 t 的輸出是循環單元的當前隱藏狀態的函數這一事實，產生了以下表達式：-
?編輯
請注意，上述表達式中使用的權重矩陣 W 對于輸入向量和隱藏狀態向量是不同的，并且僅以這種方式用于符號的便利性。
因此，出現了以下表達式：-
?編輯
因此，Back-Propagation Through Time 與典型的 Back-Propagation 的唯一區別在于，每個時間步的誤差相加以計算總誤差。?編輯
盡管基本的遞歸神經網絡相當有效，但它可能會遇到一個重大問題。對于深度網絡，反向傳播過程可能會導致以下問題：
消失的梯度：當梯度變得非常小并趨于零時，就會發生這種情況。
分解梯度：當梯度由于反向傳播而變得太大時，會發生這種情況。
Exploding Gradients 的問題可以通過使用 hack 來解決 – 通過在時間上回傳遞的梯度設置閾值。但是這種解決方案并不被視為問題的解決方案，也可能降低網絡的效率。為了解決這個問題，開發了遞歸神經網絡的兩種主要變體——長短期記憶網絡和門控遞歸單元網絡。
遞歸神經網絡 （RNN） 是一種人工神經網絡，旨在處理順序數據。
展開 人工神經網絡（Artificial Neural Networks，簡稱ANNs）-1
（1）人工神經網絡的魯棒性和應用：
人工神經網絡（ANN）對訓練數據中的錯誤具有魯棒性，并且已經成功應用于學習各種函數，包括解釋視覺場景、語音識別和學習機器人控制策略等問題。
（2）生物神經網絡與人工神經網絡的靈感來源：
人工神經網絡的研究部分受到大腦中復雜交織的神經元網絡的啟發。人腦包含大約10^11到10^12個神經元，每個神經元平均連接到10^4到10^5個其他神經元。因此，人腦平均需要大約10^-1秒的時間來做出復雜的決策。
（3）人工神經網絡的結構：
人工神經網絡通常由大量簡單單元組成，這些單元密集地相互連接。每個單元接收多個實值輸入并產生單個實值輸出。盡管如此，人工神經網絡并不完全模仿生物神經系統的復雜性。
（4）生物神經元與人工神經元的差異：
生物神經元的主要組成部分包括軸突、樹突和突觸。
人工神經元則通過權重來模擬這些生物組成部分的功能。
生物神經元
人工神經元
主要成分：軸突、樹突、突觸
主要成分：軸突、樹突、突觸
來自其他神經元的信息以電脈沖的形式進入樹突，通過稱為突觸的連接點接收。信息從樹突流向細胞進行處理。輸出信號（脈沖的序列）隨后沿著軸突傳送到其他神經元的突觸。
神經元的排列和連接組成網絡，共有三層。第一層稱為輸入層，是唯一暴露于外部信號的層。輸入層將信號傳遞給下一層的神經元，該層稱為隱藏層。隱藏層從接收的信號中提取相關特征或模式。這些被認為重要的特征或模式隨后被轉發到輸出層，輸出層是網絡的最后一層。
突觸能夠增強或減弱連接的強度。這是信息存儲的地方。
人工信號可以通過權重進行改變，類似于突觸中發生的物理變化。
展開 基于Matlab平臺的BP神經網絡進行數據擬合
上次討論了基于Hopfield神經網絡的數字識別，BP（Back Propagation）神經網絡也可以進行相關的數字識別如手寫數字識別等，由于BP神經網絡的特性，該網絡需要一定的樣本進行對網絡進行訓練、測試以及校驗。本次不再贅述數字識別，而是將目光集中于基于BP神經網絡的數據擬合。
本次所采用的神經網絡為BP神經網絡，是一個誤差反向傳播訓練（Error Back Propagation Training）的多層前饋網絡，主要包含輸入層、隱含層和輸出層。數據由輸入層輸入，經過標準化處理后，傳到第二層即隱含層，隱含層進行輸入數據的權值計算、轉換，然后傳輸到輸出層，輸出層將給出神經網絡的預測值。 由于人工神經網絡不需要事先給定輸入量與輸出量之間的映射關系，BP網絡需要通過范例進行學習。因此，給定一個包含了輸入量樣本以及已知的正確輸出量樣本是必須的。利用給定的示例，BP神經網絡可以得知什么是所期望達到的行為并且BP算法也能支持網絡進行調整來達到預期。
BP網絡包含正向計算和反向計算兩個過程，其學習過程是通過循環步驟來實現的。當接收到范例時，該網絡會先進行正向計算過程，隨機輸出一些數據。這個輸出的結果將會與已知的正確樣本進行比較，然后一個含有其均方誤差的信號將會通過建立的神經網絡進行反向傳遞。隱含層接收到信號后，會“分攤”給各個神經單元，每個單元的權值因此將根據接收到的誤差進行相應的調整。這個過程將會不斷循環，直到誤差達到規定的閾值或完成了規定的學習次數而停止。此時該神經網絡被認為已經學習成功，完成了訓練過程。BP神經網絡仿真雖然無法達到最理想的功能，但是其結果已經接近了完美。
在BP算法中采用的激活函數是S型（Sigmoid）函數，該函數應用于隱含層的輸出中。
展開 
基于Mathematica神經網絡的驗證碼識別
人工神經網絡（英語：Artificial Neural Network，ANN），簡稱神經網絡（Neural Network，NN）或類神經網絡，在機器學習和認知科學領域，是一種模仿生物神經網絡（動物的中樞神經系統，特別是大腦）的結構和功能的數學模型或計算模型，用于對函數進行估計或近似。神經網絡由大量的人工神經元聯結進行計算。大多數情況下人工神經網絡能在外界信息的基礎上改變內部結構，是一種自適應系統，通俗的講就是具備學習功能?，F代神經網絡是一種非線性統計性數據建模工具，神經網絡通常是通過一個基于數學統計學類型的學習方法（Learning Method）得以優化，所以也是數學統計學方法的一種實際應用，通過統計學的標準數學方法我們能夠得到大量的可以用函數來表達的局部結構空間，另一方面在人工智能學的人工感知領域，我們通過數學統計學的應用可以來做人工感知方面的決定問題（也就是說通過統計學的方法，人工神經網絡能夠類似人一樣具有簡單的決定能力和簡單的判斷能力），這種方法比起正式的邏輯學推理演算更具有優勢。
目前存在很多成熟的神經網絡框架，比如Tensorflow、PyTorch、Keras、MXNet還有百度的paddle，matlab也有相對應的工具箱，而作為同是“3m”之一的Mathematica自然也是不甘于落后，于2016年引入相關的接口，并在2020年進行了主要的更新，本文假定讀者已經擁有了深度學習的基礎知識，將利用mathematica軟件提供的接口來解決一類簡單的驗證碼識別任務，以此來引導讀者對mathematica的深度學習工具有一個大致的了解，希望能對大家有所啟發。
數據集準備
目前許多網站的人機識別機制還是如下圖的驗證碼形式，本體是由26個字母和10個數字組合而成再加以隨機變換和噪聲干擾的四個字符圖片。
展開 并使用Python構建真實世界的神經網絡模型 ￥5
- 學習內容：
- 什么是機器學習
- 人工智能與神經網絡
- 搭建機器學習環境
- Python基礎與必備庫
- 使用Pandas進行數據處理與預處理
- 數據可視化技術
- 缺失數據處理與數據清洗
- 特征縮放與歸一化
- 分類數據編碼
- 理解機器學習中的回歸
- 簡單線性回歸與多元線性回歸
- 邏輯回歸與決策樹
- 模型評估與交叉驗證
- 深度學習與神經網絡入門
- 構建用于圖像分類的卷積神經網絡（CNN）
- 目標檢測與圖像分割
- 理解序列數據與時間序列
- 自然語言處理
- 創意領域中的人工智能（音樂、藝術、視頻）
- 人工智能與機器學習的未來（量子計算、人工通用智能）
- 人工智能職業道路與行業機會
- 前置要求：具備基礎編程經驗
- 課程描述：《機器學習、人工智能與神經網絡：完整課程》——從零開始學習機器學習、人工智能與神經網絡，掌握構建真實世界應用程序中使用的智能系統所需的技能。這門全面的課程旨在幫助初學者、專業人士和有志成為AI工程師的人理解現代人工智能的工作原理以及如何有效應用它。在本課程中，你將探索機器學習、人工智能與神經網絡的基礎知識，包括數據驅動學習、算法選擇、模型訓練和性能評估。
展開 卷積神經網絡原理用于機器學習“修復”3D打印金屬零件
神經網絡的高級算法
根據3D科學谷的市場觀察，LLNL正在將卷積神經網絡原理用于機器學習“修復”3D打印金屬零件，通過神經網絡的高級算法用于實時來分析構建質量，并就就如何改進構建質量提出建議。LLNL正在朝著一鍵打印的目標努力。
Wayne King所在的LLNL國家實驗室從2011年就引入了3D打印技術，目前擁有200多名科學家從事增材制造工作。作為全球領先的3D打印增材制造研究中心之一，LLNL配有三個3D打印實驗室，這些實驗室所從事的是具有前沿探索以及商業化轉化價值的研究。
多年來，勞倫斯利弗莫爾國家實驗室的工程師們使用傳感器和成像技術來分析金屬3D打印背后的物理和過程，以便每次都能夠首次構建高質量的金屬零件?，F在，他們正在利用機器學習來實時處理3D構建期間獲得的數據，可以在幾毫秒內檢測構建是否是高質量的。更確切地說，他們正在開發卷積神經網絡（CNN），這是一種通常用于處理圖像和視頻的算法，通過觀察大約每段10毫秒的視頻來預測部件是否良好。
用于下圍棋，也可用于預測3D打印結果
根據業內專家，卷積神經網絡是近些年逐步興起的一種人工神經網絡結構, 因為利用卷積神經網絡在圖像和語音識別方面能夠給出更優預測結果, 這一種技術也被廣泛的傳播可應用. 卷積神經網絡最常被應用的方面是計算機的圖像識別, 不過因為不斷地創新, 它也被應用在視頻分析, 自然語言處理, 藥物發現, 等等。包括Alpha Go, 讓計算機看懂圍棋, 同樣也是有運用到這門技術。
那么卷積神經網絡的計算原理是怎樣的呢？ “卷積” 和 “神經網絡”. 卷積也就是說神經網絡不再是對每個像素的輸入信息做處理了,而是圖片上每一小塊像素區域進行處理, 這種做法加強了圖片信息的連續性。 使得神經網絡能看到圖形, 而非一個點。
展開 神經網絡芯片的未來發展，路在何方？
當硬件架構由工具自動地確定后，NAAS還研究了如何進一步地優化網絡模型，即軟件側，意圖在硬件表現不受影響的前提下實現更高質量的應用。
通過將NAAS與神經結構搜索技術（Neural Architecture Search, NAS）交互，軟硬件技術層面上的閉環或許會帶來更多可能：當客戶 數據成為了唯一的成本，神經網絡模型搭建和硬件實現都能由計算機高質高效地完成，這樣基于神經網絡的解決方案將在越來越多的應用場景中受到青睞。
近似計算：
沒人能拒絕免費的午餐
標題意譯：低硬件成本的近似乘法器誤差補償技術
一句話總結：作者分析了一種常用的近似乘法器設計所導致的誤差，引入了可控制變量的概念對該誤差進行補償，并給出了關于該變量的取值與補償效果間的關系的數學證明，能夠在不引入大量額外電路開銷的前提下，有效彌補近似乘法器帶來的神經網絡模型精度下降。
技術細節：
目前，大部分神經網絡模型都伴隨著巨大的運算量，而其中占比很大的計算類型是乘累加運算。一個熱點方向，就是用近似乘法器取代精確乘法器，從而立竿見影地降低功耗。
但是用這種“近似計算的方法”必然會引入計算誤差，進而導致神經網絡模型精度的下降，這無異于“撿了芝麻丟了西瓜”。
如何規避這部分負面影響？重新訓練神經網絡模型是一個較為主流的選擇。
重訓練的本質是：讓神經網絡模型通過參數的調整，自行“消化”掉近似乘法器帶來的誤差，保證最終的計算結果與之前的幾乎一致。
然而，重訓練也有不少缺點。首先，神經網絡模型的「訓練」過程往往伴隨著比「推理」大得多的計算量。因此，重訓練有悖于我們通過近似計算技術節約功耗的這個初衷。但最為致命的是，重訓練并不完全消除近似計算的誤差。
展開 