神經網絡芯片的案例
又一款AI深度學習神經網絡芯片面世
16日，臺灣師范大學與視芯（AVSdsp）公司合作開發的小型人工智能（AI）深度學習神經網絡芯片“AI小鼠Mipy”在臺師大發布，引發關注。這款芯片由臺灣師范大學電機工程系AI與機器人團隊的教授提供AI設計概念與應用框架，視芯公司設計芯片系統。
據悉，該芯片是以協同處理器方式放在主控芯片旁，能夠以簡單、快速、低價的方式，幫助初級影音處理產品升級，實現智能感測AI功能。
視芯公司首席執行官沈聯杰說，“AI小鼠Mipy”智能芯片可以簡易地連接在任何微控制單元或中央處理器旁，扮演智能助理，檢測與辨識要判別的影像和聲音。
“芯片還有一定的學習能力，經過像人類一樣反復地練習，可以在單一事物的識別能力上超越人類?！彼f，例如，家里的空調溫度是否合適，燈光是否合適，音樂大小是否合適，掃地機器人該去哪里打掃，都可以由芯片來控制。
沈聯杰介紹說，功能強大的AI芯片應用發展太復雜費時，也太貴，但輕量級的AI芯片應用將很快來到人們身邊。
據介紹，該芯片適用于家居、車載、廣告、安防、工業、商業、教育，以及多種玩具產品。
沈聯杰說，過去十年，公司和大陸機構在芯片研發上有過合作，也已將“AI小鼠Mipy”智能芯片推薦給深圳、北京的公司，他看好大陸芯片市場前景。
來源：新華網
展開 神經網絡芯片的未來發展，路在何方？
一方面是動態的硬件資源分配：當一個神經網絡模型的處理完成后，硬件資源將根據其余的處理任務重新進行分配，避免硬件資源的浪費。
另一方面是自動化的思想：通過開發調度器，根據待處理的神經網絡模型自動地尋找最佳的分界線設置，實現最佳的處理效果。
至于通用性，脈動陣列真的注定與通用性無緣嗎？此前一個取得了顯著進展的思路來自2020年HPCA的最佳論文SIGMA：用數個由網絡連接的鏈狀運算單元來取代二維的陣列，以實現更靈活的脈動式運算；而此研究提供了另一個思路，讓我們仍然可以相信脈動陣列能帶我們走向更高性能的神經網絡加速器設計。
NPU的自動設計：
無稽之談還是確有其事？
標題意譯：神經網絡加速器架構搜索技術
一句話總結：本文實現了對于神經網絡加速器的架構設計空間的高質量的自動探索：通過更好地為搜索問題建模，并有效地將對于調度方案的探索任務從架構設計的探索任務中解耦出來，NAAS生成的架構設計擁有非常優越的性能，成功實現了在功耗、時延等評價標準下超越一些具有代表性的既有設計。
技術細節：
芯片設計里有一個概念，叫設計空間探索。用大白話講，它的意思就是在很多種可能里，選擇最好的方案。
就拿神經網絡舉例，它有各種模型、各種參數，也會對應各種NPU芯片的實現方式。所以如何根據模型和參數，自動確定最優化的芯片架構，就是設計空間探索的重要意義。
要想實現對于神經網絡加速器的架構設計空間的高質量的自動探索，目前主要的難點有兩個：如何有效地定義探索空間，以及如何高效地完成探索任務。
打個比方，如果將搜索的范圍局限于歐洲大陸，那么即使花上再多時間、找遍每一寸土地，也不可能發現新大陸。
展開 集成電路器件與設計的橋梁
博士期間，在新加坡南洋理工VIRTUS LAB 工作，在業界研究77GHz毫米波汽車雷達芯片，之后在復旦從事研究工作，碩士生導師。
主要研究方向為模擬射頻集成電路：適用于5/6G毫米波通信的相控陣收發機芯片、鎖相環PLL芯片、毫米波功率放大器芯片、77GHz FMCW 雷達芯片、高速有線通信芯片、新型MoS2芯片設計等。
集成電路通常采用一定的工藝，把一個電路中所需的晶體管、電阻、電容和電感等元件及布線互連一起，制作在半導體襯底中。無論新型的二維芯片還是目前傳統的硅工藝芯片，其芯片的設計的主要目的仍然是實現特定的功能。從集成電路器件到芯片的設計中間的橋梁就是定制的模型和特定的拓撲結構。
本次以目前兩個熱門的題目為例說明，首先新型的神經網絡芯片?；趥鹘y的硅工藝神經網絡芯片需要大量的乘法和加法單元實現卷積的運算，如何實現低功耗高速的卷積運算是其中的核心問題，此外神經網絡的輸入通常為傳感器的數據。傳感器芯片和神經網絡芯片之間通常需要接口，大量的數據通過接口傳遞會消耗大量的功耗和芯片的面積。實現傳感和神經運算的結合是未來發展的重要方向，也是擬神經計算的關鍵。二維器件具有光、電、磁、氣體等感應，基于二維器件實現傳感是較為容易，但是基于二維的器件實現神經網絡運算并不簡單。相比于基于二維神經單元，通過軟件實現神經網絡而言，二維芯片實現神經網絡并且集成前向傳播網絡芯片更具應用價值。如何實現？首先是器件的建模，器件的建模打破了傳統二維芯片通過實驗迭代的方式優化電路，而是通過仿真不斷優化器件，從而實現快速高質量電路。
對于目前的5G和6G通信，毫米波芯片是傳輸的關鍵。
展開 顯式有限元-神經網絡框架及神經網絡預測應力誤差分析
因此，我們將基于神經網絡的本構模型與顯式有限元求解器，以繞過對切向矩陣的需求。顯式有限元求解的控制方程：
通過計算更新加速度，基于時間積分，更新節點位移即可。
這項工作展示了從雙軸、擋土墻和剛性條形基腳模擬中提取的宏觀結果和高斯點應力-應變曲線。
首先，將神經網絡在IME模型（Isotropic elastic, von-Mises yield surface and Exponential hardening）模擬得到的數據集上訓練。然后將神經網絡嵌入到顯式FEM中計算，下圖展示神經網絡重現IME模型的模擬結果。
人工神經網絡（Artificial Neural Networks，簡稱ANNs）-Python中實現人工神經網絡訓練過程 ￥5
<p class="ql-align-center"><br></p><p>人工神經網絡（ANN）是一種受大腦啟發的信息處理模式。就像人類一樣，ANN通過示例來學習。通過學習過程，ANN被配置用于特定應用，例如模式識別或數據分類。學習過程主要涉及調整神經元之間存在的突觸連接。</p><p><img src="https://img.jishulink.com/msimage/202410/ebd1b7ae2d7209c566a82da5be29f702.png"></p><p>大腦由數千億個稱為神經元的細胞組成。這些神經元通過突觸連接在一起，突觸只不過是一個神經元可以向另一個神經元發送沖動的連接。當一個神經元向另一個神經元發送興奮性信號時，該信號將被添加到該神經元的所有其他輸入中。如果它超過給定的閾值，那么它將導致目標神經元向前發射動作信號——這就是思考過程內部的工作方式。</p><p>在計算機科學中，我們通過使用矩陣在計算機上創建 “網絡” 來模擬這個過程。這些網絡可以理解為神經元的抽象，而沒有考慮所有生物復雜性。為簡單起見，我們只對一個簡單的 NN 進行建模，其中兩層能夠解決線性分類問題。
展開 人工神經網絡（ANN）（網絡架構）-4 ￥2
人工神經網絡（ANN）（網絡架構）-4
人工神經網絡（ANN）：這是一種受人腦啟發的信息處理范式。ANN通過示例學習，就像人類一樣。通過學習過程，ANN可以被配置用于特定應用，如模式識別或數據分類。學習過程主要涉及調整神經元之間的突觸連接。
ANN的類型：
ANN有多種架構，每種架構都有其優勢和劣勢。常見的架構包括：
o 前饋神經網絡（Feedforward Neural Networks）：這是最簡單的ANN架構，信息從輸入層單向流動到輸出層。各層是全連接的，即一層中的每個神經元都與下一層的所有神經元相連。
o 循環神經網絡（Recurrent Neural Networks，簡稱RNNs）：這些網絡具有“記憶”組件，信息可以在網絡中循環流動。這使得網絡能夠處理數據序列，如時間序列或語音。
o 卷積神經網絡（Convolutional Neural Networks，簡稱CNNs）：這些網絡旨在處理具有網格拓撲結構的數據，如圖像。層由卷積層組成，它們學習檢測數據中的特定特征，以及池化層，它們減少數據的空間維度。
o 自編碼器（Autoencoders）：這些神經網絡用于無監督學習。它們由編碼器組成，將輸入數據映射到低維表示，以及解碼器，將表示映射回原始數據。
o 生成對抗網絡（Generative Adversarial Networks，簡稱GANs）：這些神經網絡用于生成建模。它們由兩部分組成：一個生成器，學習生成新的數據樣本，以及一個鑒別器，學習區分真實和生成的數據。
ANN模型的三個實體：
o 互連（Interconnections）：互連定義了ANN中處理元素（神經元）如何相互連接。這些處理元素的排列和互連的幾何形狀在ANN中非常重要。
展開 卷積神經網絡簡介 ￥5
?
?
卷積神經網絡 （CNN） 是計算機視覺中常用的一種深度學習神經網絡架構。計算機視覺是人工智能的一個領域，它使計算機能夠理解和解釋圖像或視覺數據。
在機器學習方面，人工神經網絡表現非常出色。神經網絡用于各種數據集，如圖像、音頻和文本。不同類型的神經網絡用于不同的目的，例如，為了預測單詞序列，我們使用循環神經網絡，更準確地說是 LSTM，同樣，對于圖像分類，我們使用卷積神經網絡。在本博客中，我們將為 CNN 構建一個基本構建塊。
?
目錄
神經網絡：層和功能
卷積神經網絡
CNN 架構
卷積層是如何工作的？
卷積的數學概述
用于構建 ConvNet 的層
神經網絡：層和功能
在常規神經網絡中，有三種類型的層：
Input Layers（輸入層）：這是我們為模型提供輸入的層。該層中的神經元數量等于我們數據中的特征總數（圖像中的像素數）。
隱藏層：然后，來自 Input 層的輸入被饋送到隱藏層中。根據我們的模型和數據大小，可以有許多隱藏層。每個隱藏層可以有不同數量的神經元，這些神經元通常大于特征的數量。每一層的輸出是通過矩陣乘前一層的輸出與該層的可學習權重，然后加上可學習偏差，然后是激活函數來計算的，這使得網絡非線性。
輸出層：然后將隱藏層的輸出饋送到 sigmoid 或 softmax 等 logistic 函數中，該函數將每個類的輸出轉換為每個類的概率分數。
將數據輸入模型并從上述步驟獲得每一層的輸出稱為前饋，然后我們使用誤差函數計算誤差，一些常見的誤差函數是交叉熵、平方損失誤差等。
展開 什么是神經網絡？ ￥2
?
神經網絡是模擬人腦復雜功能的計算模型。神經網絡由互連的節點或神經元組成，它們處理數據并從中學習，從而支持機器學習中的模式識別和決策等任務。本文詳細探討了神經網絡、神經網絡的工作原理、架構等。
目錄
神經網絡的演變
什么是神經網絡？
神經網絡的工作原理是什么？
學習神經網絡
神經網絡的類型
神經網絡的簡單實現
神經網絡的演變
自 1940 年代以來，神經網絡領域取得了許多值得注意的進步：
1940 年代至 1950 年代：早期概念
神經網絡始于 McCulloch 和 Pitts 引入第一個人工神經元數學模型。但計算限制使進展變得困難。
1960 年代至 1970 年代：感知器
這個時代由 Rosenblatt 在感知器方面的工作定義。 感知器是單層網絡，其適用性僅限于可以單獨線性解決的問題。
1980 年代：反向傳播和聯結主義
Rumelhart、Hinton 和 Williams 發明的反向傳播方法使多層網絡訓練成為可能。由于強調通過互連節點進行學習，聯結主義獲得了吸引力。
1990 年代：繁榮與寒冬
隨著神經網絡在圖像識別、金融和其他領域的應用而蓬勃發展。然而，由于高昂的計算成本和夸大的期望，神經網絡研究確實經歷了一個“冬天”。
2000 年代：復興和深度學習
更大的數據集、創新的結構和增強的處理能力刺激了它的卷土重來。 深度學習通過利用多個層，在許多學科中顯示出驚人的效果。
2010 年代至今：深度學習占主導地位
卷積神經網絡 （CNN） 和遞歸神經網絡 （RNN） 這兩種深度學習架構主導了機器學習。游戲、圖片識別和自然語言處理方面的創新證明了他們的強大功能。
展開 遞歸神經網絡解釋
編輯
在循環網絡的訓練期間，網絡還會在每個時間步長生成一個輸出。此輸出用于使用梯度下降訓練網絡。
?編輯
所涉及的反向傳播類似于典型人工神經網絡中使用的反向傳播，但有一些細微的變化。這些變化被記錄為：-設網絡在任何時間步的預測輸出為?編輯 ，實際輸出為?編輯 。然后每個時間步的誤差由下式給出：
?編輯
誤差由所有時間步的誤差之和給出。
?編輯
?編輯
同樣，該值?編輯 可以計算為每個時間步的梯度之和。
?編輯
使用微積分的鏈式法則，并利用時間步 t 的輸出是循環單元的當前隱藏狀態的函數這一事實，產生了以下表達式：-
?編輯
請注意，上述表達式中使用的權重矩陣 W 對于輸入向量和隱藏狀態向量是不同的，并且僅以這種方式用于符號的便利性。
因此，出現了以下表達式：-
?編輯
因此，Back-Propagation Through Time 與典型的 Back-Propagation 的唯一區別在于，每個時間步的誤差相加以計算總誤差。?編輯
盡管基本的遞歸神經網絡相當有效，但它可能會遇到一個重大問題。對于深度網絡，反向傳播過程可能會導致以下問題：
消失的梯度：當梯度變得非常小并趨于零時，就會發生這種情況。
分解梯度：當梯度由于反向傳播而變得太大時，會發生這種情況。
Exploding Gradients 的問題可以通過使用 hack 來解決 – 通過在時間上回傳遞的梯度設置閾值。但是這種解決方案并不被視為問題的解決方案，也可能降低網絡的效率。為了解決這個問題，開發了遞歸神經網絡的兩種主要變體——長短期記憶網絡和門控遞歸單元網絡。
遞歸神經網絡 （RNN） 是一種人工神經網絡，旨在處理順序數據。
展開 卷積神經網絡的數學原理
來源 |
深度學習這件小事
計算機視覺技術在日常生活中有著非常普遍的應用：發朋友圈之前自動修圖、網上購物時刷臉支付……在這一系列成功的應用背后，卷積神經網絡功不可沒。本文將介紹卷積神經網絡背后的數學原理。
在自動駕駛、醫療以及零售這些領域，計算機視覺讓我們完成了一些直到最近都被認為是不可能的事情。今天，自動駕駛汽車和無人商店聽起來不再那么夢幻。事實上，我們每天都在使用計算機視覺技術——我們用自己的面孔解鎖手機，將圖片上傳到社交網絡之前進行自動修圖……卷積神經網絡可能是這一巨大成功背后的關鍵組成模塊。這次，我們將要使用卷積神經網絡的思想來拓寬我們對神經網絡工作原理的理解。打個預防針，本文包含相當復雜的數學方程，但是，你也不必為自己不喜歡線性代數和微積分而沮喪。我的目標并不是讓你記住這些公式，而是為你提供一些關于底層原理的直覺認知。
簡介
過去我們接觸到了密集連接的神經網絡。那些神經網絡中，所有的神經元被分成了若干組，形成了連續的層。每個這樣的單元都與相鄰層的每一個單獨的神經元相連接。下圖所示的是這樣一個架構。
圖 1：密集連接的神經網絡架構
當我們基于一個有限的固定特征集合解決分類問題的時候，這種方法是很奏效的——例如，我們根據足球運動員在比賽中記錄的統計數據來預測他的位置。但是，當處理照片的時候，問題變得更加復雜。當然，我們可以把每個像素的亮度視作一個單獨的特征，然后將它作為密集網絡的輸入傳遞進去。不幸的是，為了讓它能夠應付一張典型的智能手機照片，我們的網絡必須包含數千萬甚至上億的神經元。另一方面，雖然我們可以將照片縮小，但是我們也會在這個過程中損失有價值的信息。
展開 Python神經網絡編程
Python神經網絡編程
關于神經網絡的簡介
關于神經網絡的簡介
別以為名字中帶“網絡”二字，神經網絡就是一種設備，事實上神經網絡是一種模擬人腦結構的算法模型。其原理就在于將信息分布式存儲和并行協同處理。雖然每個單元的功能非常簡單，但大量單元構成的網絡系統就能實現非常復雜的數據計算，并且還是一個高度復雜的非線性動力學習系統。
神經網絡的結構更接近于人腦，具有大規模并行、分布式存儲和處理、自組織、自適應和自學能力。神經網絡的用途非常廣泛，在系統辨識、模式識別、智能控制等領域都能一展身手。而現在最吸引IT巨頭們關注的就是神經網絡在智能控制領域中的自動學習功能，特別適合在需要代入一定條件，并且信息本身是不確定和模糊的情況下，進行相關問題的處理，例如語音識別。
神經網絡的起源要追溯到上世紀40年代，心理學家麥克庫羅克和數理邏輯學家皮茲首先提出了神經元的數學模型。此模型沿用至今，并且直接影響著這一領域研究的進展。因而，他們兩人就是神經網絡研究的先驅。隨著計算機的高速發展，人們以為人工智能、模式識別等問題在計算機面前都是小菜一碟。再加上當時電子技術比較落后，用電子管或晶體管制作出結構復雜的神經網絡是完全不可能的，所以神經網絡的研究一度陷于低潮當中。到了20世紀80年代，隨著大規模集成電路的發展，讓神經網絡的應用成為了可能。而且人們也看到了神經網絡在智能控制、語音識別方面的潛力。但是這一技術的發展仍然緩慢，而硬件性能的發展以及應用方式的變化，再加上谷歌、微軟、IBM等大公司的持續關注，神經網絡終于又火了起來。本該在上世紀80年代就出現的諸多全新語音技術，直到最近才與我們見面，神經網絡已經成為最熱門的研究領域之一。
在國際會議上，與會人員來自世界各地，同聲傳譯就成了必不可少的溝通方式。但是到目前為止，同聲傳譯基本上都是靠人來完成的，譯員在不打斷講話者演講的情況下，不停地將其講話內容傳譯給聽眾。
展開 什么是徑向基函數神經網絡？
?
徑向基函數 （RBF） 神經網絡是一種特殊類型的人工神經網絡 （ANN），主要用于函數逼近任務。RBF Networks 以其獨特的三層架構和通用逼近功能而聞名，在分類和回歸問題中提供更快的學習速度和高效的性能。本文深入探討了 RBF 神經網絡的工作原理、架構和應用。
什么是徑向基函數？
徑向基函數 （RBF） 是一類特殊的前饋神經網絡，由三層組成：
Input Layer（輸入層）：接收輸入數據并將其傳遞到隱藏層。
隱藏層：RBF 神經元處理數據的核心計算層。
Output Layer：生成網絡的預測，適用于分類或回歸任務。
RBF 網絡如何運作？
RBF 網絡在概念上類似于 K 最近鄰 （k-NN） 模型，盡管它們的實現方式不同?；舅枷胧?，項目的預測目標值受附近具有相似預測變量值的項目的影響。以下是 RBF Networks 的運作方式：
Input Vector：網絡接收需要分類或回歸的 n 維輸入向量。
RBF 神經元：隱藏層中的每個神經元都代表訓練集中的原型向量。 該網絡計算輸入向量和每個神經元中心之間的歐幾里得距離。
激活函數：使用徑向基函數（通常是高斯函數）轉換歐幾里得距離，以計算神經元的激活值。該值隨著距離的增加而呈指數級減小。
Output Nodes （輸出節點）：每個輸出節點都根據所有 RBF 神經元的激活值的加權總和計算分數。對于分類，將選擇得分最高的類別。
RBF 的主要特征
徑向基函數：這些是僅取決于與中心點的距離的實值函數。Gaussian 函數是最常用的類型。
維度：網絡的維度對應于預測變量的數量。
中心和半徑：每個 RBF 神經元都有一個中心和一個半徑 （散布）。
展開 什么是 Perceptron 最簡單的人工神經網絡 ￥3
Perceptron 是最簡單的人工神經網絡架構之一，由 Frank Rosenblatt 于 1957 年提出。它主要用于二進制分類。
當時，統計機器學習和常規編程等傳統方法通常用于預測。盡管 Perceptron 模型是最簡單的人工神經網絡形式之一，但事實證明，該模型在解決特定分類問題方面非常有效，為 AI 和機器學習的進步奠定了基礎。
本文旨在提供感知器模型的基礎知識、其架構、工作原理和應用，涵蓋使用 PyTorch 的理論和實際實現。
目錄
? 什么是感知器？
? Perceptron 的組件
? Perceptron 是如何工作的？
? 構建和訓練單層感知器模型
? 將 Perceptron 與 PyTorch 結合使用進行二進制分類
? Perceptron 的限制
1 什么是感知器？
感知器是一種 執行二進制分類的神經網絡，它將輸入特征映射到輸出決策，通常將數據分為兩類之一，例如 0 或 1。
Perceptron 由單層輸入節點組成，這些節點完全連接到一層輸出節點。它特別擅長學習線性可分模式。它利用了一種稱為閾值邏輯單元 （TLU） 的人工神經元變體，該神經元由 McCulloch 和 Walter Pitts 在 1940 年代首次引入。這個基礎模型在開發更高級的神經網絡和機器學習算法方面發揮了至關重要的作用。
2 感知器的類型
1. 單層感知器是一種僅限于學習線性可分離模式的感知器。它對于數據可以通過直線劃分為不同類別的任務非常有效。雖然它的簡單性很強大，但它難以解決更復雜的問題，其中輸入和輸出之間的關系是非線性的。
2. 多層感知器具有增強的處理能力，因為它們由兩層或多層組成，擅長處理數據中更復雜的模式和關系。
展開 神經網絡與深度學習
<div contenteditable="false" width="100%">
<p><img src="~/assets/images/editor/attachment.png" style="vertical-align: middle"> <a href="https://img.jishulink.com/202401/attachment/4597ed85bdc047aab202984f62dd7856.pdf" target="_blank" rel="nofollow">Deep Learning in Neural Networks-An Overview.pdf</a></p>
</div><p><br></p>
展開 