卷積神經(jīng)網(wǎng)絡(luò)的案例
卷積神經(jīng)網(wǎng)絡(luò)簡介 ￥5
?
?
卷積神經(jīng)網(wǎng)絡(luò) （CNN） 是計算機(jī)視覺中常用的一種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)。計算機(jī)視覺是人工智能的一個領(lǐng)域，它使計算機(jī)能夠理解和解釋圖像或視覺數(shù)據(jù)。
在機(jī)器學(xué)習(xí)方面，人工神經(jīng)網(wǎng)絡(luò)表現(xiàn)非常出色。神經(jīng)網(wǎng)絡(luò)用于各種數(shù)據(jù)集，如圖像、音頻和文本。不同類型的神經(jīng)網(wǎng)絡(luò)用于不同的目的，例如，為了預(yù)測單詞序列，我們使用循環(huán)神經(jīng)網(wǎng)絡(luò)，更準(zhǔn)確地說是 LSTM，同樣，對于圖像分類，我們使用卷積神經(jīng)網(wǎng)絡(luò)。在本博客中，我們將為 CNN 構(gòu)建一個基本構(gòu)建塊。
?
目錄
神經(jīng)網(wǎng)絡(luò)：層和功能
卷積神經(jīng)網(wǎng)絡(luò)
CNN 架構(gòu)
卷積層是如何工作的？
卷積的數(shù)學(xué)概述
用于構(gòu)建 ConvNet 的層
神經(jīng)網(wǎng)絡(luò)：層和功能
在常規(guī)神經(jīng)網(wǎng)絡(luò)中，有三種類型的層：
Input Layers（輸入層）：這是我們?yōu)槟Ｐ吞峁┹斎氲膶印Ｔ搶又械?em>神經(jīng)元數(shù)量等于我們數(shù)據(jù)中的特征總數(shù)（圖像中的像素數(shù)）。
隱藏層：然后，來自 Input 層的輸入被饋送到隱藏層中。根據(jù)我們的模型和數(shù)據(jù)大小，可以有許多隱藏層。每個隱藏層可以有不同數(shù)量的神經(jīng)元，這些神經(jīng)元通常大于特征的數(shù)量。每一層的輸出是通過矩陣乘前一層的輸出與該層的可學(xué)習(xí)權(quán)重，然后加上可學(xué)習(xí)偏差，然后是激活函數(shù)來計算的，這使得網(wǎng)絡(luò)非線性。
輸出層：然后將隱藏層的輸出饋送到 sigmoid 或 softmax 等 logistic 函數(shù)中，該函數(shù)將每個類的輸出轉(zhuǎn)換為每個類的概率分?jǐn)?shù)。
將數(shù)據(jù)輸入模型并從上述步驟獲得每一層的輸出稱為前饋，然后我們使用誤差函數(shù)計算誤差，一些常見的誤差函數(shù)是交叉熵、平方損失誤差等。
展開 卷積神經(jīng)網(wǎng)絡(luò)（CNN）簡介-1 ￥2
卷積神經(jīng)網(wǎng)絡(luò)簡介
卷積神經(jīng)網(wǎng)絡(luò)（CNN）是計算機(jī)視覺中常用的一種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò) 架構(gòu)。計算機(jī)視覺是人工智能的一個領(lǐng)域，它使計算機(jī)能夠理解和解釋圖像或視覺數(shù)據(jù)。
在機(jī)器學(xué)習(xí)方面，人工神經(jīng)網(wǎng)絡(luò) 表現(xiàn)非常出色。神經(jīng)網(wǎng)絡(luò)用于各種數(shù)據(jù)集，如圖像、音頻和文本。不同類型的神經(jīng)網(wǎng)絡(luò)用于不同的目的，例如，為了預(yù)測單詞序列，我們使用循環(huán)神經(jīng)網(wǎng)絡(luò) ，更準(zhǔn)確地說是LSTM ，同樣，對于圖像分類，我們使用卷積神經(jīng)網(wǎng)絡(luò)。在本博客中，我們將為CNN構(gòu)建一個基本構(gòu)建塊。
目錄
? 神經(jīng)網(wǎng)絡(luò)：層和功能
? 卷積神經(jīng)網(wǎng)絡(luò)
o CNN 架構(gòu)
o 卷積層是如何工作的？
o 卷積的數(shù)學(xué)概述
o 用于構(gòu)建 ConvNet 的層
? 示例：將 CNN 應(yīng)用于圖像
? 卷積神經(jīng)網(wǎng)絡(luò) （CNN） 的優(yōu)缺點
? 神經(jīng)網(wǎng)絡(luò)：層和功能
在常規(guī)神經(jīng)網(wǎng)絡(luò)中，有三種類型的層：
1. Input Layers（輸入層）：這是我們?yōu)槟Ｐ吞峁┹斎氲膶印Ｔ搶又械?em>神經(jīng)元數(shù)量等于我們數(shù)據(jù)中的特征總數(shù)（圖像中的像素數(shù)）。
1. 隱藏層：然后，來自Input層的輸入被饋送到隱藏層中。根據(jù)我們的模型和數(shù)據(jù)大小，可以有許多隱藏層。每個隱藏層可以有不同數(shù)量的神經(jīng)元，這些神經(jīng)元通常大于特征的數(shù)量。每一層的輸出是通過矩陣乘前一層的輸出與該層的可學(xué)習(xí)權(quán)重，然后加上可學(xué)習(xí)偏差，然后是激活函數(shù)來計算的，這使得網(wǎng)絡(luò)非線性。
1. 輸出層：然后將隱藏層的輸出饋送到sigmoid或softmax等logistic函數(shù)中，該函數(shù)將每個類的輸出轉(zhuǎn)換為每個類的概率分?jǐn)?shù)。
將數(shù)據(jù)輸入模型并從上述步驟獲得每一層的輸出稱為前饋 ，然后我們使用誤差函數(shù)計算誤差，一些常見的誤差函數(shù)是交叉熵、平方損失誤差等。error 函數(shù)用于測量網(wǎng)絡(luò)的性能。之后，我們通過計算導(dǎo)數(shù)來反向傳播到模型中。
展開 卷積神經(jīng)網(wǎng)絡(luò)原理用于機(jī)器學(xué)習(xí)“修復(fù)”3D打印金屬零件
神經(jīng)網(wǎng)絡(luò)的高級算法
根據(jù)3D科學(xué)谷的市場觀察，LLNL正在將卷積神經(jīng)網(wǎng)絡(luò)原理用于機(jī)器學(xué)習(xí)“修復(fù)”3D打印金屬零件，通過神經(jīng)網(wǎng)絡(luò)的高級算法用于實時來分析構(gòu)建質(zhì)量，并就就如何改進(jìn)構(gòu)建質(zhì)量提出建議。LLNL正在朝著一鍵打印的目標(biāo)努力。
Wayne King所在的LLNL國家實驗室從2011年就引入了3D打印技術(shù)，目前擁有200多名科學(xué)家從事增材制造工作。作為全球領(lǐng)先的3D打印增材制造研究中心之一，LLNL配有三個3D打印實驗室，這些實驗室所從事的是具有前沿探索以及商業(yè)化轉(zhuǎn)化價值的研究。
多年來，勞倫斯利弗莫爾國家實驗室的工程師們使用傳感器和成像技術(shù)來分析金屬3D打印背后的物理和過程，以便每次都能夠首次構(gòu)建高質(zhì)量的金屬零件。現(xiàn)在，他們正在利用機(jī)器學(xué)習(xí)來實時處理3D構(gòu)建期間獲得的數(shù)據(jù)，可以在幾毫秒內(nèi)檢測構(gòu)建是否是高質(zhì)量的。更確切地說，他們正在開發(fā)卷積神經(jīng)網(wǎng)絡(luò)（CNN），這是一種通常用于處理圖像和視頻的算法，通過觀察大約每段10毫秒的視頻來預(yù)測部件是否良好。
用于下圍棋，也可用于預(yù)測3D打印結(jié)果
根據(jù)業(yè)內(nèi)專家，卷積神經(jīng)網(wǎng)絡(luò)是近些年逐步興起的一種人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 因為利用卷積神經(jīng)網(wǎng)絡(luò)在圖像和語音識別方面能夠給出更優(yōu)預(yù)測結(jié)果, 這一種技術(shù)也被廣泛的傳播可應(yīng)用. 卷積神經(jīng)網(wǎng)絡(luò)最常被應(yīng)用的方面是計算機(jī)的圖像識別, 不過因為不斷地創(chuàng)新, 它也被應(yīng)用在視頻分析, 自然語言處理, 藥物發(fā)現(xiàn), 等等。包括Alpha Go, 讓計算機(jī)看懂圍棋, 同樣也是有運(yùn)用到這門技術(shù)。
那么卷積神經(jīng)網(wǎng)絡(luò)的計算原理是怎樣的呢？ “卷積” 和 “神經(jīng)網(wǎng)絡(luò)”. 卷積也就是說神經(jīng)網(wǎng)絡(luò)不再是對每個像素的輸入信息做處理了,而是圖片上每一小塊像素區(qū)域進(jìn)行處理, 這種做法加強(qiáng)了圖片信息的連續(xù)性。 使得神經(jīng)網(wǎng)絡(luò)能看到圖形, 而非一個點。
展開 用 Pytorch 理解卷積網(wǎng)絡(luò)
借助卷積神經(jīng)網(wǎng)絡(luò)（CNN），這一切都是可能的，卷積神經(jīng)網(wǎng)絡(luò)是一種特定類型的神經(jīng)網(wǎng)絡(luò)，也稱為卷積網(wǎng)絡(luò)。
如果您是一名深度學(xué)習(xí)愛好者，那么您可能已經(jīng)聽說過卷積神經(jīng)網(wǎng)絡(luò)，也許您甚至自己開發(fā)了一些圖像分類器。像Tensorflow和PyTorch這樣的現(xiàn)代深度學(xué)習(xí)框架使向機(jī)器學(xué)習(xí)圖像變得容易，但是，仍然存在一些問題：數(shù)據(jù)如何通過神經(jīng)網(wǎng)絡(luò)的人工層傳遞？計算機(jī)如何從中學(xué)習(xí)？更好地解釋卷積神經(jīng)網(wǎng)絡(luò)的一種方法是使用PyTorch。因此，讓我們通過可視化每個圖層的圖像來深入研究CNN。
卷積神經(jīng)網(wǎng)絡(luò)的解釋
什么是卷積神經(jīng)網(wǎng)絡(luò)？
卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種特殊類型的神經(jīng)網(wǎng)絡(luò)，在圖像上表現(xiàn)特別出色。卷積神經(jīng)網(wǎng)絡(luò)由Yan LeCun在1998年提出，可以識別給定輸入圖像中存在的數(shù)字。
在開始使用卷積神經(jīng)網(wǎng)絡(luò)之前，了解神經(jīng)網(wǎng)絡(luò)的工作原理很重要。神經(jīng)網(wǎng)絡(luò)模仿人腦如何解決復(fù)雜的問題并在給定的數(shù)據(jù)集中找到模式。在過去的幾年中，神經(jīng)網(wǎng)絡(luò)席卷了許多機(jī)器學(xué)習(xí)和計算機(jī)視覺算法。
神經(jīng)網(wǎng)絡(luò)的基本模型由組織在不同層中的神經(jīng)元組成。每個神經(jīng)網(wǎng)絡(luò)都有一個輸入層和一個輸出層，并根據(jù)問題的復(fù)雜性增加了許多隱藏層。一旦數(shù)據(jù)通過這些層，神經(jīng)元就會學(xué)習(xí)并識別模式。神經(jīng)網(wǎng)絡(luò)的這種表示稱為模型。訓(xùn)練完模型后，我們要求網(wǎng)絡(luò)根據(jù)測試數(shù)據(jù)進(jìn)行預(yù)測。如果您不熟悉神經(jīng)網(wǎng)絡(luò)，那么這篇有關(guān)使用Python進(jìn)行深度學(xué)習(xí)的文章就是一個很好的起點。
另一方面，CNN是一種特殊的神經(jīng)網(wǎng)絡(luò)，在圖像上表現(xiàn)特別出色。卷積神經(jīng)網(wǎng)絡(luò)由Yan LeCun在1998年提出，可以識別給定輸入圖像中存在的數(shù)字。使用CNN的其他應(yīng)用程序包括語音識別，圖像分割和文本處理。在卷積神經(jīng)網(wǎng)絡(luò)之前，多層感知器（MLP）用于構(gòu)建圖像分類器。
圖像分類是指從多波段光柵圖像中提取信息類別的任務(wù)。
展開 
卷積神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)原理
來源 |
深度學(xué)習(xí)這件小事
計算機(jī)視覺技術(shù)在日常生活中有著非常普遍的應(yīng)用：發(fā)朋友圈之前自動修圖、網(wǎng)上購物時刷臉支付……在這一系列成功的應(yīng)用背后，卷積神經(jīng)網(wǎng)絡(luò)功不可沒。本文將介紹卷積神經(jīng)網(wǎng)絡(luò)背后的數(shù)學(xué)原理。
在自動駕駛、醫(yī)療以及零售這些領(lǐng)域，計算機(jī)視覺讓我們完成了一些直到最近都被認(rèn)為是不可能的事情。今天，自動駕駛汽車和無人商店聽起來不再那么夢幻。事實上，我們每天都在使用計算機(jī)視覺技術(shù)——我們用自己的面孔解鎖手機(jī)，將圖片上傳到社交網(wǎng)絡(luò)之前進(jìn)行自動修圖……卷積神經(jīng)網(wǎng)絡(luò)可能是這一巨大成功背后的關(guān)鍵組成模塊。這次，我們將要使用卷積神經(jīng)網(wǎng)絡(luò)的思想來拓寬我們對神經(jīng)網(wǎng)絡(luò)工作原理的理解。打個預(yù)防針，本文包含相當(dāng)復(fù)雜的數(shù)學(xué)方程，但是，你也不必為自己不喜歡線性代數(shù)和微積分而沮喪。我的目標(biāo)并不是讓你記住這些公式，而是為你提供一些關(guān)于底層原理的直覺認(rèn)知。
簡介
過去我們接觸到了密集連接的神經(jīng)網(wǎng)絡(luò)。那些神經(jīng)網(wǎng)絡(luò)中，所有的神經(jīng)元被分成了若干組，形成了連續(xù)的層。每個這樣的單元都與相鄰層的每一個單獨的神經(jīng)元相連接。下圖所示的是這樣一個架構(gòu)。
圖 1：密集連接的神經(jīng)網(wǎng)絡(luò)架構(gòu)
當(dāng)我們基于一個有限的固定特征集合解決分類問題的時候，這種方法是很奏效的——例如，我們根據(jù)足球運(yùn)動員在比賽中記錄的統(tǒng)計數(shù)據(jù)來預(yù)測他的位置。但是，當(dāng)處理照片的時候，問題變得更加復(fù)雜。當(dāng)然，我們可以把每個像素的亮度視作一個單獨的特征，然后將它作為密集網(wǎng)絡(luò)的輸入傳遞進(jìn)去。不幸的是，為了讓它能夠應(yīng)付一張典型的智能手機(jī)照片，我們的網(wǎng)絡(luò)必須包含數(shù)千萬甚至上億的神經(jīng)元。另一方面，雖然我們可以將照片縮小，但是我們也會在這個過程中損失有價值的信息。
展開 讀懂自動駕駛卷積神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)原理
來源 | 深度學(xué)習(xí)這件小事
計算機(jī)視覺技術(shù)在日常生活中有著非常普遍的應(yīng)用：發(fā)朋友圈之前自動修圖、網(wǎng)上購物時刷臉支付……在這一系列成功的應(yīng)用背后，卷積神經(jīng)網(wǎng)絡(luò)功不可沒。本文將介紹卷積神經(jīng)網(wǎng)絡(luò)背后的數(shù)學(xué)原理。
在自動駕駛、醫(yī)療以及零售這些領(lǐng)域，計算機(jī)視覺讓我們完成了一些直到最近都被認(rèn)為是不可能的事情。今天，自動駕駛汽車和無人商店聽起來不再那么夢幻。事實上，我們每天都在使用計算機(jī)視覺技術(shù)——我們用自己的面孔解鎖手機(jī)，將圖片上傳到社交網(wǎng)絡(luò)之前進(jìn)行自動修圖……卷積神經(jīng)網(wǎng)絡(luò)可能是這一巨大成功背后的關(guān)鍵組成模塊。這次，我們將要使用卷積神經(jīng)網(wǎng)絡(luò)的思想來拓寬我們對神經(jīng)網(wǎng)絡(luò)工作原理的理解。打個預(yù)防針，本文包含相當(dāng)復(fù)雜的數(shù)學(xué)方程，但是，你也不必為自己不喜歡線性代數(shù)和微積分而沮喪。我的目標(biāo)并不是讓你記住這些公式，而是為你提供一些關(guān)于底層原理的直覺認(rèn)知。
過去我們接觸到了密集連接的神經(jīng)網(wǎng)絡(luò)。那些神經(jīng)網(wǎng)絡(luò)中，所有的神經(jīng)元被分成了若干組，形成了連續(xù)的層。每個這樣的單元都與相鄰層的每一個單獨的神經(jīng)元相連接。下圖所示的是這樣一個架構(gòu)。
圖 1.密集連接的神經(jīng)網(wǎng)絡(luò)架構(gòu)
當(dāng)我們基于一個有限的固定特征集合解決分類問題的時候，這種方法是很奏效的——例如，我們根據(jù)足球運(yùn)動員在比賽中記錄的統(tǒng)計數(shù)據(jù)來預(yù)測他的位置。但是，當(dāng)處理照片的時候，問題變得更加復(fù)雜。當(dāng)然，我們可以把每個像素的亮度視作一個單獨的特征，然后將它作為密集網(wǎng)絡(luò)的輸入傳遞進(jìn)去。不幸的是，為了讓它能夠應(yīng)付一張典型的智能手機(jī)照片，我們的網(wǎng)絡(luò)必須包含數(shù)千萬甚至上億的神經(jīng)元。另一方面，雖然我們可以將照片縮小，但是我們也會在這個過程中損失有價值的信息。
展開 基于matlab的MTCNN（多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)）人臉檢測算法
關(guān)鍵詞：Matlab；深度學(xué)習(xí)；多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)；人臉檢測；
背景
在不受約束的環(huán)境中，由于個體姿勢的多樣性、光照條件的變化以及潛在的遮擋問題，人臉檢測和對齊任務(wù)面臨諸多挑戰(zhàn)。近期的研究表明，深度學(xué)習(xí)技術(shù)在這些任務(wù)上展現(xiàn)出了卓越的性能。本文提出了一種基于深度學(xué)習(xí)的級聯(lián)多任務(wù)框架，旨在通過檢測與對齊任務(wù)間的內(nèi)在聯(lián)系來提升整體性能。具體而言，本框架采用由三個階段組成的深度卷積網(wǎng)絡(luò)，以自底向上的方式預(yù)測人臉及其關(guān)鍵點的位置。此外，本文還提出了一種在線硬樣本挖掘策略，以進(jìn)一步提高實際應(yīng)用中的性能。本方法在FDDB和WIDER FACE等具有挑戰(zhàn)性的人臉檢測基準(zhǔn)測試以及AFLW人臉對齊基準(zhǔn)測試中，均實現(xiàn)了比現(xiàn)有技術(shù)更高的準(zhǔn)確性，同時保持了實時性能。
多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)（MTCNN）
MTCNN是由中國科學(xué)院深圳研究院于2016年提出的，用于人臉檢測任務(wù)的深度學(xué)習(xí)模型。該模型能夠在同一框架內(nèi)集成人臉檢測與人臉關(guān)鍵點檢測任務(wù)。MTCNN網(wǎng)絡(luò)結(jié)構(gòu)由三個階段組成，即P-Net、R-Net和O-Net，形成一個級聯(lián)網(wǎng)絡(luò)。該模型采用候選區(qū)域加分類器的方法，兼顧了檢測速度與精度，實現(xiàn)了快速高效的人臉檢測，如圖1所示。
圖1 MTCNN效果展示說明
方法原理
MTCNN是一種用于人臉檢測的深度學(xué)習(xí)算法。它由多個階段組成，每個階段都執(zhí)行特定的任務(wù)，例如區(qū)域提議、特征提取和邊界框回歸。下面是一個簡化的流程圖，描述了使用MTCNN進(jìn)行人臉檢測的一般步驟：
輸入圖像：將待檢測的圖像輸入到MTCNN模型中。
階段1：快速區(qū)域提議：使用一個卷積神經(jīng)網(wǎng)絡(luò)（CNN）來快速生成人臉候選區(qū)域。這個階段通常使用P-Net，它能夠快速地從圖像中提取出可能包含人臉的區(qū)域。
生成多個候選區(qū)域：P-Net輸出多個候選區(qū)域，這些區(qū)域是可能包含人臉的矩形框。
展開 基于python的神經(jīng)網(wǎng)絡(luò)在圖像識別和自然語言處理上的應(yīng)用
隨著計算機(jī)算力的不斷增長，基于機(jī)器學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)）的方法成為了自然語言處理以及計算機(jī)圖像識別的新范式。在自然語言處理方面，RNN、LSTM等方法能夠有效提取語言之間的前后順序和相互關(guān)系，在機(jī)器翻譯、語言生成等任務(wù)取得了非常好的效果。在圖像識別、圖像檢測等方面，CNN等方法能夠有效提取圖像之中的模式，刷新了傳統(tǒng)圖像識別方法的效果。
針對自然語言處理（NLP），最常用的是長短期記憶網(wǎng)絡(luò)，通常被稱為 LSTM，是一種特殊的 RNN，能夠?qū)W習(xí)長期依賴性。LSTM 的關(guān)鍵是細(xì)胞狀態(tài)，細(xì)胞狀態(tài)有點像傳送帶。它貫穿整個鏈條，只有一些次要的線性作用。信息很容易以不變的方式流過。圖示如下所示：
根據(jù)常用數(shù)據(jù)集，通過編程實現(xiàn)，這里通常使用pytorch進(jìn)行實現(xiàn)，部分代碼如下所示：
訓(xùn)練過程中，loss不斷降低，如下圖所示：
可以看出啦，與RNN相比，LSTM的loss值更低，能夠有效有效處理長序列等類型的數(shù)據(jù)，廣泛應(yīng)用在機(jī)器翻譯，語言生成等方面的應(yīng)用。
在圖像處理方面，最常用的是卷積神經(jīng)網(wǎng)絡(luò)（CNN），它受到人類視覺神經(jīng)系統(tǒng)的啟發(fā)。能夠有效的將大數(shù)據(jù)量的圖片降維成小數(shù)據(jù)量、能夠有效的保留圖片特征，符合圖片處理的原則。普通卷積神經(jīng)網(wǎng)絡(luò)如下所示：
同樣編程實現(xiàn)，部分代碼如下所示：
在訓(xùn)練過程中可以得到以下結(jié)果：
可以看出，訓(xùn)練過程中，loss值不斷下降，圖像識別率不斷上升，進(jìn)一步對結(jié)果進(jìn)行可視化，可以加深對卷積神經(jīng)網(wǎng)絡(luò)的理解。首先對卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的權(quán)重進(jìn)行可視化，可以得到如下圖像：
不難看出，卷積神經(jīng)網(wǎng)絡(luò)能夠準(zhǔn)確識別出物體，并賦以較高的權(quán)重，以影響識別結(jié)果。目前卷積神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于圖片分類、檢索、目標(biāo)定位檢測等領(lǐng)域。
由以上結(jié)果可以看出，神經(jīng)網(wǎng)絡(luò)逐漸成為了人工智能的代名詞，并在各個領(lǐng)域中取得良好的結(jié)果。
展開 土木界首篇人工智能論文出爐：用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)結(jié)構(gòu)損傷視覺識別
Cha老師用上了卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，簡稱CNNs)——他在文中引用多篇LeCun的文章，LeCun正是Facebook人工智能實驗室的負(fù)責(zé)人，還是Google創(chuàng)始人Page的老師。Google、微軟、Facebook、Twitter、百度等世界“AI巨頭”們目前爭相投入重金研究的課題，正是這個CNNs。Google用CNNs開發(fā)基于安卓系統(tǒng)的語音識別系統(tǒng)，百度用CNNs開發(fā)視覺搜索引擎……
微軟的Leon Bottou說：“沒有人比LeCun更能推動卷積神經(jīng)網(wǎng)絡(luò)發(fā)展了”；深度學(xué)習(xí)運(yùn)動核心人物Geoffrey Hinton說：“是LeCun高舉著火炬，沖過了最黑暗的時代”——在多年前，神經(jīng)網(wǎng)絡(luò)這個工具并不好用，經(jīng)常出錯，直到計算機(jī)科學(xué)家LeCun對算法有了實質(zhì)性的推進(jìn)。如今我們有足夠的理由相信神經(jīng)網(wǎng)絡(luò)這個科技工具，至少我們相信那些把神經(jīng)網(wǎng)絡(luò)大規(guī)模應(yīng)用于銀行業(yè)務(wù)和ATM機(jī)上的銀行家們的選擇——他們往往是對技術(shù)很保守的一群人。
回到這篇文章，Cha老師首先掌握了332張用佳能單反相機(jī)拍攝的高清混凝土結(jié)構(gòu)表面裂縫照片，他把這些照片分為兩組，一組是277張分辨率為4928x3264的照片作為“訓(xùn)練組”，一組是55張分辨率為5888x3584的照片作為“驗證組”。
人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)庫需要海量數(shù)據(jù)，277這個數(shù)字顯然不夠，況且，當(dāng)一副照片中含有的信息越多，對神經(jīng)網(wǎng)絡(luò)而言，干擾就越多，就越不容易突出重點。于是Cha老師將這277張照片分割成4萬張分辨率為256x256的小照片作為訓(xùn)練數(shù)據(jù)庫。
展開 Tensorflow 中的卷積神經(jīng)網(wǎng)絡(luò) （CNN）
卷積神經(jīng)網(wǎng)絡(luò) （CNN） 通過從圖像中自動學(xué)習(xí)特征的空間層次結(jié)構(gòu)，徹底改變了計算機(jī)視覺領(lǐng)域。在本文中，我們將探討 CNN 的基本構(gòu)建塊，并向您展示如何使用 TensorFlow 實現(xiàn) CNN 模型。
CNN 的構(gòu)建塊
CNN 由各層組成，每個層在處理和提取輸入圖像中的特征時執(zhí)行特定任務(wù)。主要構(gòu)建塊是：
卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)
1. 卷積層
它接收一個輸入特征圖（可以是圖像）并應(yīng)用一組過濾器（或內(nèi)核）來創(chuàng)建新的特征圖。這些濾鏡從圖像中捕獲不同的特征，例如邊緣、角落和紋理。卷積作由濾波器大小、步幅和填充等參數(shù)控制。
import tensorflow as tf
conv_layer = tf.keras.layers.Conv2D(
filters=32, kernel_size=(3, 3), strides=(1, 1), padding='valid',
activation='relu', kernel_initializer='glorot_uniform',
)
2. 池化層
它用于對特征圖進(jìn)行下采樣，即在保留最重要的信息的同時減小它們的大小。
展開 清華大學(xué)CJChE丨基于自適應(yīng)多尺度卷積神經(jīng)網(wǎng)絡(luò)的化工過程故障診斷模型
本文提出了一種基于自適應(yīng)多尺度卷積神經(jīng)網(wǎng)絡(luò)的化工過程故障診斷模型AMCNN，可以自動從時間序列數(shù)據(jù)中挖掘多尺度特征，同時模型中自適應(yīng)注意力機(jī)制有助于選擇與故障狀態(tài)聯(lián)系更緊密的關(guān)鍵特征加以訓(xùn)練，受度量學(xué)習(xí)啟發(fā)引入的三元組損失函數(shù)用于提升模型對多工況故障特征的泛化能力。本文采用連續(xù)攪拌反應(yīng)器仿真系統(tǒng)和田納西-伊斯曼過程模擬數(shù)據(jù)集對所提方法的效果進(jìn)行驗證，實驗結(jié)果證明AMCNN模型具有優(yōu)異的故障診斷性能和跨工況通用性。
成果展示
本文構(gòu)建的自適應(yīng)多尺度卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如下圖所示，AMCNN整體由三部分模塊組成，分別是多尺度卷積模塊、融合兩種機(jī)制協(xié)同作用的自適應(yīng)注意力模塊和三元組損失優(yōu)化模塊，分類器用于輸出故障類別。
展開 
卷積神經(jīng)網(wǎng)絡(luò)表征可視化研究綜述
關(guān)鍵詞：深度學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)、可解釋性、表征可視化、顯著圖
近年來, 以深度神經(jīng)網(wǎng)絡(luò)(Deep neural networks, DNN)為代表的機(jī)器學(xué)習(xí)方法逐漸興起[1]. 由于訓(xùn)練數(shù)據(jù)的增加[2-3]及計算能力的大幅提升, DNN的網(wǎng)絡(luò)結(jié)構(gòu)及與之相適應(yīng)的優(yōu)化算法[4-6]變得更加復(fù)雜, DNN在各項任務(wù)上的性能表現(xiàn)也越來越好, 產(chǎn)生了多種適用于不同類型數(shù)據(jù)處理任務(wù)的經(jīng)典深度網(wǎng)絡(luò)結(jié)構(gòu), 如卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network, RNN). 對于圖像數(shù)據(jù)處理與識別領(lǐng)域, CNN是一種十分常用的網(wǎng)絡(luò)結(jié)構(gòu), 在圖像分類、目標(biāo)檢測、語義分割等任務(wù)上取得了非常好的效果, 已經(jīng)成為該領(lǐng)域應(yīng)用最廣泛的基礎(chǔ)模型[7].
如圖1所示, 傳統(tǒng)機(jī)器學(xué)習(xí)算法采用人工設(shè)計的特征集, 按照專家經(jīng)驗和領(lǐng)域知識將其組織到機(jī)器學(xué)習(xí)算法中. 由于設(shè)計人員本身了解這些被定義特征的具體含義, 因此, 傳統(tǒng)機(jī)器學(xué)習(xí)方法一定程度上是可解釋的, 人們大致明白算法對各種特征的依賴以及算法的決策依據(jù). 例如, 線性模型可使用特征對應(yīng)的權(quán)重代表特征重要程度. 相比于傳統(tǒng)機(jī)器學(xué)習(xí)算法, 以CNN為代表的深度學(xué)習(xí)算法屬于特征學(xué)習(xí)或表示學(xué)習(xí), 可對輸入數(shù)據(jù)進(jìn)行自動特征提取及分布式表示, 解決了人工特征設(shè)計的難題. 這一優(yōu)勢使其能夠?qū)W習(xí)到更加豐富完備的且含有大量深層語義信息的特征及特征組合, 因此在性能表現(xiàn)上超過多數(shù)傳統(tǒng)機(jī)器學(xué)習(xí)算法.
展開 深度學(xué)習(xí)核心技術(shù)實踐與圖神經(jīng)網(wǎng)絡(luò)新技術(shù)應(yīng)用研修班通知
生成對抗網(wǎng)絡(luò)原理 2.GAN的生成模型、判別模型的設(shè)計
高頻問題：
1.生成模型與判別模型的博弈過程
關(guān)鍵點：
1.掌握GAN的思想與原理 2.根據(jù)需求學(xué)會設(shè)計生成模型與判別模型
實操解析與訓(xùn)練
第八階段：
強(qiáng)化學(xué)習(xí)實踐
實驗：游戲分析
1.游戲場景分析 2.強(qiáng)化學(xué)習(xí)的要素分析 3.深度強(qiáng)化學(xué)習(xí)
高頻問題：
1.DNN 與DQN 2.探索與利用
關(guān)鍵點：
1.深度強(qiáng)化學(xué)習(xí)的原理 2.根據(jù)實際需求，設(shè)計深度強(qiáng)化學(xué)習(xí)模型
實操解析與訓(xùn)練
第九階段：
圖卷積神經(jīng)網(wǎng)絡(luò)實踐
實驗：社交網(wǎng)絡(luò)分析
1.圖神經(jīng)網(wǎng)絡(luò)的原理 2.圖卷積神經(jīng)網(wǎng)絡(luò)的思想
3.設(shè)計圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行社交網(wǎng)絡(luò)分析
高頻問題：
1.如何從圖神經(jīng)網(wǎng)絡(luò)的原理轉(zhuǎn)化到實際編程
關(guān)鍵點：
1. 掌握圖神經(jīng)網(wǎng)絡(luò)原理 2. 圖卷積神經(jīng)網(wǎng)絡(luò)編程實現(xiàn)
實操解析與訓(xùn)練
第十階段：
Transformer實踐
實驗：基于Transformer的對話生成
1. Transformer原理 2. 基于Transformer的對話生成
3.基于 Transformer 的應(yīng)用
高頻問題：
1.如何應(yīng)用自注意力機(jī)制 2.如何應(yīng)用于自然語言處理與計算機(jī)視覺
關(guān)鍵點：
1.self-Attention機(jī)制 2.position
展開 前沿研究丨基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法在增材制造全鏈條中的應(yīng)用
使用布拉格光纖光柵傳感器記錄AE信號，而選擇的NN算法是波譜卷積神經(jīng)網(wǎng)絡(luò)（SCNN），它是對傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)（CNN）的延伸。模型的輸入特征是小波包變換的窄頻帶的相對能量。輸出特征是對打印層的質(zhì)量為高、中或差的分類。
什么是神經(jīng)網(wǎng)絡(luò)？ ￥2
通過強(qiáng)化學(xué)習(xí)進(jìn)行學(xué)習(xí)
通過與環(huán)境互動和以獎勵或懲罰的形式提供反饋，網(wǎng)絡(luò)獲得了知識。找到一種隨著時間的推移優(yōu)化累積獎勵的政策或策略是該網(wǎng)絡(luò)的目標(biāo)。這種經(jīng)常用于游戲和決策應(yīng)用程序。
神經(jīng)網(wǎng)絡(luò)的類型
可以使用七種類型的神經(jīng)網(wǎng)絡(luò)。
前饋神經(jīng)網(wǎng)絡(luò)：前饋神經(jīng)網(wǎng)絡(luò)是一種簡單的人工神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中數(shù)據(jù)沿單個方向從輸入移動到輸出。它有 input、hidden 和 output 層;沒有反饋循環(huán)。其簡單的架構(gòu)使其適用于許多應(yīng)用程序，例如回歸和模式識別。
多層感知器 （MLP）：MLP 是一種具有三層或更多層的前饋神經(jīng)網(wǎng)絡(luò)，包括一個輸入層、一個或多個隱藏層和一個輸出層。它使用非線性激活函數(shù)。
卷積神經(jīng)網(wǎng)絡(luò) （CNN）：卷積神經(jīng)網(wǎng)絡(luò) （CNN） 是一種專為圖像處理而設(shè)計的專用人工神經(jīng)網(wǎng)絡(luò)。它采用卷積層從輸入圖像中自動學(xué)習(xí)分層特征，從而實現(xiàn)有效的圖像識別和分類。CNN 徹底改變了計算機(jī)視覺，在對象檢測和圖像分析等任務(wù)中發(fā)揮著關(guān)鍵作用。
遞歸神經(jīng)網(wǎng)絡(luò) （RNN）：一種用于順序數(shù)據(jù)處理的人工神經(jīng)網(wǎng)絡(luò)類型稱為遞歸神經(jīng)網(wǎng)絡(luò) （RNN）。它適用于上下文依賴關(guān)系至關(guān)重要的應(yīng)用程序，例如時間序列預(yù)測和自然語言處理，因為它利用反饋循環(huán)，使信息能夠在網(wǎng)絡(luò)中生存。
長短期記憶 （LSTM）：LSTM 是一種 RNN，旨在克服訓(xùn)練 RNN 中的梯度消失問題。它使用存儲單元和門選擇性地讀取、寫入和擦除信息。
神經(jīng)網(wǎng)絡(luò)的簡單實現(xiàn)
代碼案例
?
展開 卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)專題、標(biāo)簽、搜索
卷積神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)算法 卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)結(jié)合matlab卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò) 重構(gòu)卷積神經(jīng)網(wǎng)絡(luò)代碼cnn卷積神經(jīng)網(wǎng)絡(luò)
