神經形態計算的案例
六大“未來式”存儲器，誰將脫穎而出？
對神經形態計算的濃厚興趣刺激人們研發出一系列全新的存儲設備，這些設備可以復制生物神經元和突觸功能。最近，一篇回顧該領域現狀的論文對六種最有前景的技術進行了盤點和解讀。
這篇題為“用于神經形態計算的新興存儲器件”的論文發表在1月份的《先進材料技術》（Advanced Materials Technologies）上。論文中，作者闡述了擺脫晶體管和馮·諾依曼架構轉而采用與尖峰神經網絡更緊密結合的技術的優勢，尖峰神經網絡是神經形態計算的基礎。論文的目的是在神經形態計算中找出比CPU、GPU、DRAM和NAND等傳統設備更快、更節能的設備。
論文作者盤點和介紹的六種存儲器件包括電阻式記憶存儲器（ReRAM）、擴散式憶阻器、相變存儲器（PCM）、非易失性磁性隨機存儲器（MRAM）、鐵電場效應晶體管（FeFET）和突觸晶體管。下面我們具體地看一下。
ReRAM
ReRAM是基于電阻式隨機存取的一種非易失性存儲器。換句話說，關閉電源后存儲器仍能記住數據。ReRAM可以由許多化合物制成，最常見的化合物是各種類型的氧化物。據論文作者介紹，ReRAM的主要優勢在于其可擴展性、CMOS兼容性、低功耗和電導調制效應，這些優點讓ReRAM可以輕松擴展到先進工藝節點，能夠進行大批量生產和供應，并且能夠滿足神經形態計算等應用對能耗和速度的要求，所有這些都使ReRAM成為下一代存儲器的主要競爭者。
ReRAM對神經形態計算的適用性與憶阻器根據施加電壓的歷史改變其狀態的能力有關。由于這種能力，ReRAM具有生物神經元和突觸的時間特性和模擬特性。
展開 ：良品率高達90%的聚合物納米神經形態器件的構建
與生物大腦的神經突觸類似，憶阻器（Memristor）兼具記憶和邏輯運算的功能，理論上可以通過憶阻器完全替代現有的數字邏輯電路。這類能與CMOS工藝兼容的器件具有結構簡單、速度快、功耗低、高存儲容量和存內數據處理能力等優點，是實現高密度存儲和以數據為中心的存內計算和感知計算技術的優勢基礎器件。然而，大多數阻變介質的結構不均勻性通常會導致隨機和高度局部的電阻開關特性，從而降低了實際應用中納米級憶阻器的良率和可靠性。因此，為了突破基于傳統馮·諾依曼架構的算力瓶頸和摩爾定律限制，非常有必要創新設計和制備新型憶阻功能材料，開發具有優異的保持力、耐用性和器件間（D2D）性能一致性的憶阻器，這已成為后摩爾時代人工智能芯片領域的重要創新方向，也是一項極具挑戰性的課題。
華東理工大學陳彧教授團隊與上海交通大學劉鋼研究員團隊及合肥工業大學張章教授團隊合作開展了聚合物憶阻功能材料的合成及納米神經形態器件構建研究工作。研究發現，利用二維有機共軛策略提高高分子的共平面性、結晶度和阻變穩定性，通過微納加工技術制備的良率高達90%的低功耗高分子憶阻器，具有與金屬氧化物憶阻器可比擬的應用潛力，為發展小型化、高密度與低功耗存算計算技術提供了新的材料體系和優勢器件基礎。
展開 通向強人工智能：與其坐等認知科學家“猜謎”，不如直接繪制大腦結構圖譜
與經典計算機類比，這些系統相當于1946年首臺計算機ENIAC，但是發展迅速，例如，BrainScaleS在歐洲人類大腦計劃支持下，預計在2022年，也就是計劃結束前一年，實現在神經信息處理能力上超越人類大腦。
我國在類腦機研制方面還沒有重大規劃和行動，但相關基礎研究工作也已經有上十年的歷史。2015年9月，北京啟動“腦科學研究”重大專項，“腦認知與類腦計算”作為兩大任務之一，從理論基礎研究、類腦計算機研制和類腦智能應用三個層次布局了九個方面的任務，包括：大腦結構解析平臺、認知功能模擬平臺、神經形態器件、類腦處理器、機器學習芯片、類腦計算機、視聽感知、自主學習和自然會話，調動了北京地區腦科學研究力量協同攻關重大共性技術，取得了一批具有國際影響力的成果。北京專項啟動一個多月之后，美國能源部（美國超級計算機研制的牽頭部門）10月29-30日召集全國專家，圍繞“神經形態計算：從材料到架構”進行研討[25]，會議內容與北京“腦科學與類腦計算”布局高度類似。
神經形態器件是類腦機的“晶體管”，最近幾年發展很快。2008年惠普模擬神經突觸的憶阻器件；2016年8月IBM用相變材料仿真神經元；9月，美國馬薩諸塞大學阿默斯特分校采用擴散型憶阻器研制成功逼近神經突觸的器件；10月，普林斯頓大學宣布研制成功比光神經元，標志著神經形態器件的競爭已經進入白熱化階段。
我國在神經形態器件方面已經有十多年的研究歷史，北京大學、清華大學、南京大學、中科院上海微系統所、華中科技大學和國防科技大學等單位的成果表明中國很有可能對這一領域產生巨大影響。盡管這些器件應用于神經計算系統還有很長的路要走，它們將從根本上塑造神經計算機的未來，就像晶體管和集成電路對經典計算機的貢獻一樣。
展開 馮諾依曼瓶頸漸顯，未來的計算架構如何發展？
此外，所有輸入可在單個器件所有節點可同時進行計算操作，其中特定列的輸出電流由通過連接輸入到特定列的所有憶阻器的總和電流確定。換句話說，N個輸入和M個輸出的N × M憶阻器交叉開關的單個讀操作執行N ×（N × M）矢量矩陣乘法，具有高度的計算并行性。而在傳統系統中，執行同樣的任務需要N×M個乘機累加運算才能實現。憶阻器的神經網絡硬件的高效計算特性主要是基于存儲和計算的共存位置以及高水平的并行計算特性。
神經形態硬件對于憶阻器研究來說是一個特別有吸引力的領域，因為系統級神經網絡可以容忍當今許多器件非理想性特性，如器件的本征變化。實際上，設備運行時間隨機性正可以用來模擬真實生物突觸特性，并且可在訓練期間進行優化。此外，實際的網絡操作不需要多年的數據保留，并且也可以放寬對設備耐久性的要求，因為權重更新通常比較少。
從數學的角度上說，神經形態計算可以分解為一系列矢量矩陣乘法運算，通過憶阻器交叉結構結構實現。在這些系統中，通過突觸連接的相對加強和弱化發生實現“學習”功能（圖 2）。在過去的幾年中已經證明了基于憶阻器的神經網絡硬件模式。例如，已經演示了執行模式分類的憶阻器硬件，最初使用2×10陣列并且稍后擴展到12×12陣列。2016年引入了一個使用憶阻器陣列進行神經形態應用的通用點積引擎，通過在線學習進行了主成分分析的演示。
在SNN中，常見學習規則是尖峰定時依賴模式 - 當突觸前神經元尖峰在突觸后神經元尖峰之前時，兩個神經元之間的突觸增強，如果相反則減弱。實際上，甚至有人認為憶阻效應可以解釋與尖峰定時相關的可塑性行為。到目前為止，許多研究人員已經使用實驗裝置參數通過全系統仿真研究了基于憶阻器-SNN。
總體而言，神經網絡模型的開發和探索是目前非常活躍。使用不同的神經元，突觸和網絡模型來探索各種新型計算模式。
展開 
Matlab神經科學應用工具箱計算特點與計算設備硬件配置推薦
在神經科學方面，Matlab有幾個常用的工具箱可用。以下是一些常見的工具箱及其主要應用：
No
工具箱名稱
功能說明
1
Signal Processing Toolbox
用于處理和分析神經信號，例如腦電圖（EEG）和腦磁圖（MEG）等。它提供了各種濾波、頻譜分析、時頻分析和信號可視化的函數
2
Image Processing Toolbox
用于處理和分析神經影像數據，例如腦部MRI和功能性MRI（fMRI）等。它包含了圖像處理、分割、配準、特征提取和圖像重建等功能
3
Neural Network Toolbox
用于設計、訓練和模擬神經網絡。它提供了各種神經網絡模型和訓練算法，用于解決分類、回歸、聚類和時序預測等問題
4
Statistics and Machine Learning Toolbox
在神經科學中可以使用統計和機器學習方法進行數據分析、模型擬合和預測等
關于計算方式和加速支持，這里提供一些信息：
CPU計算：
大多數Matlab工具箱在沒有顯式指定多線程或并行計算時，使用單個核心進行計算。這包括Signal Processing Toolbox、Image Processing Toolbox和Neural Network Toolbox等。
多核計算：
Parallel Computing Toolbox：該工具箱提供了多核計算的支持。通過并行化代碼，利用多個CPU核心進行計算，可以提高計算速度。
展開 新興NVM存儲技術及工藝選擇
這將允許出現一種稱為“常關（normally-off）”計算的情況。這是一個很大的變化，”
Yeric說：“能夠凍結片上計算過程，保留狀態而不消耗電力然后恢復，會產生相當可觀的后果。這將需要一種新的處理器架構。我認為我們將增加一條新的處理器產品線，這可以解決物聯網領域不同的功率范圍需求問題。通過使用收集的能源，在沒有電池的情況下工作。它符合物聯網的特點和發展勢頭。”
但實際上還有很多事情需要解決，如將不同的材料引入晶圓廠總是需要小心，因為這可能會增加采用成本。這就是為什么還有基于更熟悉的材料的非易失性存儲器的原因之一，例如基于氧化鉿的鐵電存儲器，以及基于氧化硅的ReRAM。這兩種材料都被用作晶圓廠生產中的絕緣體，但研究人員正在開發可用于存儲器制造的材料性能，并已經取得了可喜的進展。
由科羅拉多大學教授Carlos Paz de Araujo通過他的公司Symetrix Corp.（Colorado Springs, Colo.）開創了CeRAM技術。ARM自2014年開始與Symetrix合作。Yeric認為，該技術距離商業化還有兩到三年的時間。CeRAM的耐久性比較好，存取速度和能效也不錯。但這些并不是CeRAM的專利，很多非易失性存儲技術似乎都有機會在這個階段發展起來。
Yeric指出，魔鬼始終處于進程節點和集成過程中的細節，從位到陣列再到子系統。“我們希望在下一屆ARM研究峰會上有一些這方面的報道”，他補充道。
神經形態計算
下面討論一下神經形態計算。
展開 并聯四噴管發動機流場結構形態及CFD計算
采用CFD技術對并聯發動機噴流羽流進行計算分析首先需要能夠在計算結果中呈現出這些復雜的物理流動狀態。
激活學習：一種挑戰反向傳播的生物啟發算法
神經科學的層面，幫助我們更好的理解神經元的可塑性、競爭、抑制、反饋以及associative memory。
3. 在AI硬件層面，我們在神經形態計算（neuromorphic computing）上展開過一些研究，我們發現隨著網絡規模最大，計算誤差也會隨之增大，解決這個問題的一個辦法就是實現片上訓練，而激活學習的本地訓練特性使得它更容易實現片上訓練，推動神經形態計算技術的研究和發展。
5
與Forward-Forward 算法的區別
Hinton的想法很有洞見，而且在很大程度上也影響了我們這些后來人的一些思考和工作。包括我們在內，很多人都相信大腦的工作機制一定跟反向傳播
是不一樣的，如果我們想解決當前反向傳播的一些局限性并進一步探索新的AI模型，那么很自然的會思考一個問題: 大腦是怎么學習的。很可惜，從神經科學的角度，我們對大腦的工作機制，尤其是從電路和算法的層面上是知之甚少的。費曼告訴我們，What I cannot create, I do not understand, 如果想要了解一個東西，最好的辦法就是構建一個類似的東西，這是我們研究激活學習模型的一個驅動力 – 怎么構建一個盡可能接近大腦的方式又能夠在性能上跟反向傳播相比擬的模型。
回到主題, 看到Hinton寫得Forward-Forward algorithm文章是朋友轉發我，問我跟我們幾個月之前放到arXiv的激活學習(activation learning) 工作有什么聯系。
展開 英特爾推出第二代神經計算棒，從工具到社區全面布局人工智能
硬件創新：第二代神經計算棒性能提升8倍
人工智能相關技術，尤其是深度學習算法的持續迭代升級，使得人工智能市場規模的持續增加，引爆了市場對人工智能計算平臺的需求，而巨大的數據量不可能都在云端完成，于是邊緣計算相關技術開始受到重視。英特爾認為，以數據為中心的創新人工智能時代，正是邊緣到云的過程。
會上，英特爾發布了英特爾神經計算棒二代（簡稱英特爾NCS 2），NCS 2首次配備了神經計算引擎。開發者可以利用該計算棒可以在網絡邊緣構建更智能的AI算法和計算機視覺原型設備。英特爾NCS 2與上一代神經計算棒相比，新產品的性能提升了8倍，能夠以可負擔的成本，加快深度神經網絡推理應用的開發。
借助英特爾NCS 2的功能提升，計算機視覺和人工智能可以輕松地被部署到物聯網和邊緣設備原型上。英特爾NCS 2可在標準 USB 3.0 端口上運行，不需要額外的硬件，因此用戶可以快速轉換并將計算機訓練模型無縫部署到各種各樣的設備上，并且無需網絡或云端連接。
除此之外，在本次會議上，針對硬件創新英特爾還發布了Movidius Myriad X視覺加速器，以滿足各種物聯網設備在邊緣端實現視覺智能。該加速器設計產品瞄準邊緣設備的AI推理和分析性能需求，它有兩種形式：一種是采用英特爾Movidius VPU陣列，另一種則基于高性能英特爾Arria 10 FPGA。
目前在數據科學和深度學習計算領域，除了Movidius的視覺芯片VPU，英特爾的芯片布局還有Xeon（至強）芯片系列、Nervana NNP、以及FPGA（現場可編程門陣列）。其中，至強可擴展處理器Cascade Lake，以及英特爾Nervana神經網絡處理器Spring Crest，兩款產品均將于2019年面市。
展開 未來機器人的發展趨勢
未來機器人的發展趨勢確實令人振奮，涵蓋了技術創新、人機協作、形態多樣化、應用場景拓展以及產業發展等多個方面。以下是對這些趨勢的進一步探討：
### 技術創新與融合
1. **人工智能與機器學習的深化應用**：
- **多模態數據處理**：機器人將能夠處理和理解來自不同傳感器的數據，如圖像、語音和文本，從而實現更自然的人機交互。
- **自適應學習**：通過不斷學習和優化，機器人能夠適應不同的環境和任務需求，提高其靈活性和效率。
2. **傳感器技術的進步**：
- **高精度傳感器**：視覺、力覺和觸覺傳感器的發展將使機器人能夠更精確地感知和理解環境，從而實現更精細的操作和人機協作。
3. **控制系統的升級**：
- **先進算法與計算架構**：量子計算和神經形態計算的應用將顯著提升機器人的實時性和靈活性，使其能夠更快速、準確地執行任務。
### 人機協作與融合
1. **人機協同的拓展**：
- **實時響應**：通過傳感器和智能夾持器，機器人能夠實時響應環境變化，從而更安全、高效地與人類協同工作。
- **應用領域擴展**：從工業生產到醫療護理、教育培訓等多個領域，人機協同機器人的應用將不斷擴大。
2. **具身智能的發展**：
- **自主感知與學習**：具身智能使機器人能夠自主感知、學習和與環境互動，從而在復雜環境中靈活執行任務。
### 形態與功能多樣化
1. **人形機器人的崛起**：
- **集成到人類環境**：人形機器人因其與人類相似的外形和動作能力，更容易被集成到現有的人類生活和工作環境中。
- **應用領域**：家庭服務、養老護理、教育娛樂等領域將受益于人形機器人的發展。
2.
展開 賦能邊緣AI創新：新思科技聯手Innatera，以領先仿真技術助力類腦芯片開發
<ul><li>新思科技助力 Innatera 設計芯片，實現邊緣端的實時、高能效 AI 處理，加速推動物理人工智能領域下一代應用的開發</li><li>新思科技 PathFinder-SC? 簽核解決方案以更高精度提供更準確的版圖級結果，專業管理設計需求，并支持早期階段分析</li><li>新思科技 Totem? 電源完整性平臺支持晶體管級分析，為超低功耗 AI 處理器提供可靠的電力傳輸與性能優化</li></ul><p><br></p><p>面向傳感器邊緣超低功耗智能應用的類腦神經形態計算領域領導者 Innatera 公司宣布，選擇新思科技公司（NASDAQ股票代碼: SNPS）為其下一代神經形態微控制器提供設計與驗證支持。新思科技可靠的靜電放電（ESD）與電源完整性分析解決方案，將幫助 Innatera 擴大其運營規模，以滿足工業傳感器、機器人、可穿戴設備和智能家居等領域對邊緣處理快速增長的需求。</p><p>神經形態微控制器通過模擬生物神經元通信方式的脈沖神經網絡（SNNs）來處理信息，在傳感器邊緣實現類腦智能。這種事件驅動的方法能夠在傳感器密集、對響應速度和能效要求極高的環境中實現實時、超低功耗運行。Innatera 的架構結合了混合信號模擬計算、密集互連以及低電壓設計——這些都是實現高能效的關鍵因素，但也可能成為電噪聲和 ESD（靜電放電）敏感性的潛在來源。為解決這些挑戰，并確保在復雜神經形態電路中實現穩健性能，Innatera 利用 PathFinder-SC 和 Totem 來驗證電源完整性、管理噪聲耦合、并在不犧牲速度或效率的前提下維持可靠性。</p><p>PathFinder-SC 可在大規模芯片上模擬 ESD 事件，在最終設計進入制造階段前識別潛在弱點與根本原因，確保芯片在面對實際靜電沖擊時能發揮最佳功能。
展開 
ISA指令集：可重構處理器架構基礎
圖源：Nature Communications
許多 PIM 依賴于模擬計算（analog computations）。具體來說，在 AI 應用中，加權點積在模擬域中的計算方式類似于大腦處理信號的方式，這就是為什么這種做法通常也被稱為「神經形態計算」的原因。由于計算是在模擬域中完成的，但輸入和輸出數據是數字的，神經形態解決方案需要特殊的模數和數模轉換器，但這些在面積和功率上的成本都很高。
基于富勒烯浮柵層的雙極型柔性突觸晶體管
【引言】
與經典的馮諾依曼體系結構相比，具有低功耗，高存儲效率和良好容錯性的神經形態計算引起了人們的極大關注。在神經系統中，1015個大腦皮層神經元之間龐大的連接網絡對其高效的數據處理能力至關重要。突觸是神經系統中信號傳遞和調節的基本單位，其中神經信號從突觸前膜沿著突觸間隙傳遞到突觸后膜。受到這種有潛力的生物學功能的啟發，具有橫向和縱向導電通道的浮柵存儲晶體管被提出來模擬生物突觸的信號傳遞以及學習過程。然而絕大多數晶體管都是單極型電荷捕獲，同時具有較大的操作電壓以及很高的能耗。因此，開發簡單溶液法制備的低操作電壓的雙極型突觸晶體管不僅能大大減少集成能耗，還能提高突觸權重可調節范圍。
【成果簡介】
深圳大學周曄研究員和韓素婷副教授等在柔性場效應晶體管中第一次采用簡單的溶液法制備的C60和PMMA的混合體系作為浮柵層和隧穿層，系統性研究柔性晶體管在不同形貌下的電學性質，包括窗口，開關比，保持時間以及耐力屬性等等，同時成功模擬了生物突觸的多種學習與記憶功能，對今后有機突觸晶體管的開發有一定的指導和借鑒意義。
相應工作以“Gate-Tunable Synaptic Plasticity through Controlled Polarity of Charge Trapping in Fullerene Composites”為題，發表在Advanced Functional Materials (2018, 1805599)上，共同第一作者為深圳大學高等研究院研究生任意及電子科學與技術學院本科生楊嘉欽。
展開 基于二維層狀硒化鎵納米片的三端子記憶晶體管用于潛在的低功耗電子應用
該器件還顯示了RS特性中的柵極可調性，在非易失性存儲器、邏輯器件和神經形態計算等低功耗、功能復雜的多終端電子器件中具有廣闊的應用前景。該成果近日以題為“Three-Terminal Memtransistors Based on TwoDimensional Layered Gallium Selenide Nanosheets for Potential Low-Power Electronics Applications”發表在知名期刊Nano Energy上。
【圖文導讀】
圖一：示意圖及理化表征
(a) 基于GaSe的具有FET結構的二維憶阻器原理圖；
(b) GaSe原子結構示意圖；
(c) GaSe納米薄片脫落后的AFM圖像；
(d) SiO2基底負載GaSe的拉曼光譜。
圖二：基于GaSe的憶阻器的電阻開關行為
（a）2V工作電壓下Ag/GaSe/Ag憶阻器的I-V特征曲線；
（b）Ag/GaSe/Ag憶阻器的50個實驗開關回路；
（c）（a）中I-V曲線的正壓部分以雙對數坐標和log（I）-log（V）曲線的線性擬合重新繪制；
（d）Ag/GaSe金屬-半導體結的能帶圖。
圖三：基于GaSe的憶阻器一周后的電阻開關行為
（a）2V工作電壓下GaSe憶阻器的I-V特征曲線；
（b）GaSe憶阻器的50個實驗開關回路；
（c）（a）中I-V曲線的正壓部分以雙對數坐標和log（I）-log（V）曲線的線性擬合重新繪制；
（d）制造的2D基于GaSe的FET和在空氣中暴露一周的器件的傳輸特性。
展開 弱反導雙腔光子晶體VCSEL陣列中增強超模穩定性
圖5根據遠場強度分布計算峰值比
（二）功率與效率的雙重提升
圖4展示了兩種超模的輸出功率隨總電流的變化曲線：藍色為同相超模，綠色為異相超模，兩者均實現了高達4mW的輸出功率且邊模抑制比優異。值得注意的是，相干超模的激光閾值低于單腔模式，這源于其固有的低模增益需求，而元件間強烈的電流耦合進一步強化了這一特性。
（三）高亮度應用的廣闊前景
弱反導設計帶來的操作靈活性——即在寬電流組合范圍內支持穩定超模運行的能力，使該VCSEL陣列在多種高亮度應用中展現出獨特優勢。在低電流或非對稱注入條件下實現穩定激光發射的特性，使其成為數據中心高密度芯片間互連、醫療環境光學傳感器，甚至神經形態計算系統的理想候選者。與傳統方法相比，該技術無需復雜的外部相位鎖定系統，通過集成設計實現了光束控制，為光子芯片的大規模生產提供了可行性。此外，硅基平臺的潛在兼容性（盡管當前研究基于III-V族材料）也為未來電光集成開辟了道路。
總結與未來展望
這項研究不僅展示了弱反導雙腔光子晶體VCSEL陣列在擴展相干超模區域方面的優勢，更揭示了串擾電流在增強穩定性和可調性中的核心作用。與強限制設計相比，該方法克服了傳統VCSEL陣列相干區域狹窄的挑戰，結合低功率調制能力，為高亮度光應用提供了堅實的技術基礎。未來研究可聚焦于以下方向：進一步優化鏡面蝕刻工藝并引入高反射涂層以提升激光性能；通過量子阱結構設計將發射波長拓展至1300nm；探索與互補金屬氧化物半導體（CMOS）技術的集成，解決高溫工藝對芯片組件的潛在損害問題。
參考：
[1] Pflug D W, Armstrong C, Raftery E, et al.
展開 