一、算法和場景融合理解

1.空間相關性的非結構化數據，CNN算法。典型的圖像數據，像素點之間具有空間相關性，例如圖像的分類、分割、檢測都是CNN算法。

2.時間相關性的非結構化數據，RNN算法。這類場景普遍的一個現象就是數據之間具有時序相關性，也就是數據之間存在先后依賴關系。例如自然語言處理、語音相關算法都是基于RNN算法。 

3.非歐氏數據結構， GNN。這類場景典型的可以用圖來表示。例如社交網絡等。

案例摘要講解

醫療領域：如流行疾病、腫瘤等相關疾病檢測

遙感領域：如遙感影像中的場景識別

石油勘探：如石油油粒大小檢測

軌道交通：如地鐵密集人流檢測

檢測領域：如故障檢測

公安領域：如犯罪行為分析

國防領域：目標檢測、信號分析、態勢感知…

經濟領域：如股票預測

二、數據理解及處理

分析典型場景中的典型數據，結合具體的算法，對數據進行處理

1.結構化數據，如何對數據進行讀取，進行組織。

2.圖像數據，在實際應用過程中的處理方法，怎樣做數據的預處理、進行數據增強等。

3.時序信號，將單點的數據如何組合成一個序列，以及對序列數據處理的基本方法。

三、技術路徑設計

針對具體的場景設計特定的神經網絡模型，對典型數據適配的網絡結構進介紹。

1.DNN模型搭建的基本原則

2.CNN模型中常見的網絡結構，以及參數分析。

3.RNN中支持的一些基本算子，如何對序列數據進行組織。

四、模型驗證及問題排查

簡單的算法或者模型對典型的場景進行快速驗證，并且針對一些頻發的問題進行講解。

1. 模型收斂狀態不佳

2. 分類任務重最后一層激活函數對模型的影響

五、高級-模型優化的原理

不同的模型需要采用的優化函數以及反向傳播中參數的優化方法

1.模型優化的算法介紹，基于隨機梯度下降的算法介紹。

2.不同場景適應的損失函數介紹。

3.針對典型場景的反向傳播梯度的推到過程。

六、高級-定制化思路

結合往期學員的一些項目，簡單介紹一下解決一個具體問題的思路。

遙感成像中，地塊農作物種類的識別。

實操解析與訓練

第一階段：

神經網絡實踐

實驗：神經網絡

1.神經網絡中基本概念理解：epoch、batch size、學習率、正則、噪聲、激活函數等。

2.不同的數據生成模型、調整網絡參數、調整網絡規模

3.神經網絡分類問題

4.不同數據特征的作用分析、隱含層神經元數目

5.過擬合

高頻問題：

1.輸入數據與數據特征          2.模型設計的過程中的參數與功能的關系。

關鍵點：

1.掌握神經網絡的基本概念      2.學會搭建簡單的神經網絡結構

3.理解神經網絡參數

實操解析與訓練

第二階段：

深度學習三種編程思想

實驗：Keras實踐

1.理解Keras基本原理           2.學會Keras編程思想

3.三種不同的深度神經網絡構建編程方式

4.給定數據集，采用Keras獨立完成實際的工程項目

高頻問題：

1.如何編程實現深度神經網絡     2.三種開發方式的具體使用

關鍵點：

1.掌握Keras編程思想           2.采用三種不同方式編寫深度神經網絡

實操解析與訓練

第三階段：CNN實踐

實驗：圖像分類

1.使用CNN解決圖像分類問題     2.搭建AlexNet   3.VGG16/19

4.GoogleNet   5.ResNet

高頻問題：

1.CNN更復雜的模型在哪里可以找到代碼

關鍵點：

1.使用卷積神經網絡做圖像分類    2.常見開源代碼以及適用的問題

實驗：視頻人物行為識別

1.基于C3D的視頻行為識別方法    2.基于LSTM的視頻行為識別方法

3.基于Attention的視頻行為識別方法

高頻問題：

1.2D卷積與3D卷積               2.視頻的時空特征

關鍵點：

1.C3D網絡的構建                 2.Attention機制

實操解析與訓練

第四階段：

R-CNN及YOLO實踐

實驗：目標檢測

1.目標檢測發展現狀及代表性方法

2.兩階段目標檢測方法：R-CNN系列模型

3.一階段目標檢測方法：YOLO系列模型

高頻問題：

1.提名與分類       2.BBOX實現策略       3.YOLO Loss函數

關鍵點：

1.提名方法       2.ROI Pooling       3.SPP Net       4.RPN       5.YOLO

實操解析與訓練

第五階段：

RNN實踐

實驗：股票預測

1.股票數據分析       2.同步預測       3.異步預測

高頻問題：

1.歷史數據的使用

關鍵點：

1.構建RNN       2.采用Keras編程實現

實操解析與訓練

第六階段：

Encoder-Decoder實踐

實驗：去噪分析

1.自編碼器          2.去噪自編碼器

高頻問題：

1.噪聲的引入與去除

關鍵點：

1.設計去噪自編碼器

實驗：圖像標題生成

結合計算機視覺和機器翻譯的最新進展，利用深度神經網絡生成真實的圖像標題。

1.掌握Encoder-Decoder結構     2.學會Seq2seq結構

3.圖像CNN +文本RNN            4.圖像標題生成模型

高頻問題：

1.如何能夠根據圖像生成文本？

關鍵點：

1.提取圖像特征CNN，生成文本RNN    2.構建Encoder-Decoder結構

實操解析與訓練

第七階段：

GAN實踐

實驗：藝術家作品生成

1. 生成對抗網絡原理       2.GAN的生成模型、判別模型的設計

高頻問題：

1.生成模型與判別模型的博弈過程

關鍵點：

1.掌握GAN的思想與原理    2.根據需求學會設計生成模型與判別模型

實操解析與訓練

第八階段：

強化學習實踐

實驗：游戲分析

1.游戲場景分析            2.強化學習的要素分析       3.深度強化學習

高頻問題：

1.DNN 與DQN              2.探索與利用

關鍵點：

1.深度強化學習的原理      2.根據實際需求，設計深度強化學習模型

實操解析與訓練

第九階段：

圖卷積神經網絡實踐

實驗：社交網絡分析

1.圖神經網絡的原理         2.圖卷積神經網絡的思想

3.設計圖卷積神經網絡進行社交網絡分析

高頻問題：

1.如何從圖神經網絡的原理轉化到實際編程

關鍵點：

1. 掌握圖神經網絡原理       2. 圖卷積神經網絡編程實現

實操解析與訓練

第十階段：

Transformer實踐

實驗：基于Transformer的對話生成 

1. Transformer原理         2. 基于Transformer的對話生成

3.基于 Transformer 的應用

高頻問題：

1.如何應用自注意力機制      2.如何應用于自然語言處理與計算機視覺

關鍵點：

1.self-Attention機制       2.position