深度強化學習的案例
一種優化CFD網格的深度強化學習框架-MeshDQN
當前基于機器學習技術的網格生成和優化技術通常需要大量的計算成本來生成訓練數據，并且在范圍上受限于訓練數據流機制。為了解決上述問題，卡內基梅隆研究團隊開發了一個基于圖神經網絡的通用深度強化學習（Deep Reinforcement Learning，DRL）框架，以不斷迭代的方式來優化CFD的網格。該框架通過粗化CFD網格減小CFD模擬計算量的同時保持CFD模擬的計算精度。
2.方法方案
本文提出的用于CFD網格優化的深度學習框架是一種強化學習框架，在該框架中，智能體通過動作與環境交互。當智能體進入狀態s后，選擇動作a，并導致新的狀態s’。此外，每次行動后都會給予獎勵r。學習的目標是找到一個行動選擇策略，使獎勵最大化。度量智能體的狀態-動作質量并學習Q函數的一種方法稱為Q學習。Q函數的定義如下式所示。
展開 深度學習驅動的流體力學計算
實操環節：
1、
基于LES/DNS湍流模擬的時空超分辨率研究
4、
基于深度學習的流場時序超分辨率處理（數據與代碼提供給學員）
深度強化學習學習在流體力學中的應用
八、深度強化學習（Deep Reinforcement Learning, DRL）
核心知識點：
1、
掌握深度強化學習的框架
2、
熟悉深度強化學習的常見算法及其應用場景。
3、
理解深度強化學習中動作空間與觀察空間的定義與應用。
實操環節：
1、
深度強化學習在翼型優化的應用
2、
基于深度強化學習的矩形柱體主動流動控制（數據與代碼提供給學員）
九、深度強化學習的工程實踐
核心知識點：
1、
掌握定義定義離散動作空間/連續動作空間的方法，提升算法設計能力
2、
學習深度強化學習在工程領域的實際應用，增強解決復雜問題的能力。
展開 深度學習驅動的流體力學計算與應用
實操環節：
1、
基于LES/DNS湍流模擬的時空超分辨率研究
4、
基于深度學習的流場時序超分辨率處理（數據與代碼提供給學員）
深度強化學習學習在流體力學中的應用
八、深度強化學習（Deep Reinforcement Learning, DRL）
核心知識點：
1、
掌握深度強化學習的框架
2、
熟悉深度強化學習的常見算法及其應用場景。
3、
理解深度強化學習中動作空間與觀察空間的定義與應用。
實操環節：
1、
深度強化學習在翼型優化的應用
2、
基于深度強化學習的矩形柱體主動流動控制（數據與代碼提供給學員）
九、深度強化學習的工程實踐
核心知識點：
1、
掌握定義定義離散動作空間/連續動作空間的方法，提升算法設計能力
2、
學習深度強化學習在工程領域的實際應用，增強解決復雜問題的能力。
展開 【深度學習驅動的流體力學計算與應用】專題
【深度學習驅動的流體力學計算與應用】專題
基于OpenFOAM的矩形柱體LES模擬案例
基于python語言的CFD數據后處理
運用Python處理實驗數據
基于人工智能技術的流場預測與重構方法
運用UNet算法進行壓力時序預測
掌握基于多層感知機(MLP)的氣動性能預測方法
基于多層感知機(MLP)的民航超臨界機翼氣動性能預測
基于LES/DNS湍流模擬的時空超分辨率研究
基于深度學習的流場時序超分辨率處理
基于深度強化學習的矩形柱體主動流動控制
運用深度強化學習進行離散動作空間/連續動作空間的優化
耦合代理模型的深度強化學習在民航飛機外形優化中的應用
前沿文獻的解讀，如SORA技術、風烏技術等，了解人工智能技術在流體力學領域的最新進展，保持學術前沿性
可在某公某號咨詢：研而有信er （加關后有聯系方式可詳詢）
展開 
【基于openfoam&fluent深度學習算法驅動的流體力學設計與應用】專題
【f'luet深度學習驅動流體力學專題】
Python編程偽譜法求解NS方程
方腔流、圓柱繞流、小球入水的Fluent求解流程
梯度下降算法的Python實現
二階函數極值問題的求解
經典模型實現流體超分辨
深度學習模型實現流體的超分辨
利用Neural ODE求解特定流體（多體問題）
流體力學的拉格朗日算法
流體力學的拉格朗日神經網絡
高精度格式求解可壓縮流體力學方程
深度學習模型求解可壓縮流體力學方程
Python編程實現反向追蹤算法
前沿技術深度聚焦理論與實踐結合，新興技術探討
【openfoam深度學習驅動的流體力學計算與應用】專題
基于OpenFOAM的矩形柱體LES模擬案例
基于python語言的CFD數據后處理
運用Python處理實驗數據
基于人工智能技術的流場預測與重構方法
運用UNet算法進行壓力時序預測
掌握基于多層感知機(MLP)的氣動性能預測方法
基于多層感知機(MLP)的民航超臨界機翼氣動性能預測
基于LES/DNS湍流模擬的時空超分辨率研究
基于深度學習的流場時序超分辨率處理
基于深度強化學習的矩形柱體主動流動控制
運用深度強化學習進行離散動作空間/連續動作空間的優化
耦合代理模型的深度強化學習在民航飛機外形優化中的應用
前沿文獻的解讀，如SORA技術、風烏技術等，了解人工智能技術在流體力學領域的最新進展，保持學術前沿性
可在某公某號咨詢：研而有信er （加關后有聯系方式可詳詢）
展開 人工智能 深度學習
設計去噪自編碼器
實驗：圖像標題生成
結合計算機視覺和機器翻譯的最新進展，利用深度神經網絡生成真實的圖像標題。
1. 掌握 Encoder-Decoder 結構 2. 學會 Seq2seq 結構
3. 圖像 CNN + 文本 RNN 4. 圖像標題生成模型
高頻問題：
1. 如何能夠根據圖像生成文本？
關鍵點：
1. 提取圖像特征 CNN，生成文本 RNN 2. 構建 Encoder-Decoder 結構
實操解析與訓練
第七階段：
GAN 實踐 實驗：藝術家作品生成
1. 生成對抗網絡原理 2.GAN 的生成模型、判別模型的設計
高頻問題：
1. 生成模型與判別模型的博弈過程
關鍵點：
1. 掌握 GAN 的思想與原理 2. 根據需求學會設計生成模型與判別模型
實操解析與訓練
第八階段：
強化學習實踐 實驗：游戲分析
1. 游戲場景分析 2. 強化學習的要素分析 3. 深度強化學習
高頻問題：
1.DNN 與 DQN 2. 探索與利用
關鍵點：
1. 深度強化學習的原理 2. 根據實際需求，設計深度強化學習模型
實操解析與訓練
第九階段：
圖卷積神經網絡實踐 實驗：社交網絡分析
1. 圖神經網絡的原理 2. 圖卷積神經網絡的思想
3. 設計圖卷積神經網絡進行社交網絡分析
高頻問題：
1. 如何從圖神經網絡的原理轉化到實際編程
關鍵點：
1. 掌握圖神經網絡原理 2. 圖卷積神經網絡編程實現
實操解析與訓練
第十階段：
Transformer 實踐 實驗：基于 Transformer 的對話生成
1. Transformer 原理 2. 基于 Transformer 的對話生成
3. 基于 Transformer 的應用
高頻問題：
1. 如何應用自注意力機制 2.
展開 深度學習與大模型Transformer
生成對抗網絡原理 2.GAN的生成模型、判別模型的設計
高頻問題：
1.生成模型與判別模型的博弈過程
關鍵點：
1.掌握GAN的思想與原理 2.根據需求學會設計生成模型與判別模型
實操解析與訓練
第八階段：
強化學習實踐
實驗：游戲分析
1.游戲場景分析 2.強化學習的要素分析 3.深度強化學習
高頻問題：
1.DNN 與DQN 2.探索與利用
關鍵點：
1.深度強化學習的原理 2.根據實際需求，設計深度強化學習模型
實操解析與訓練
第九階段：
圖卷積神經網絡實踐
實驗：社交網絡分析
1.圖神經網絡的原理 2.圖卷積神經網絡的思想
3.設計圖卷積神經網絡進行社交網絡分析
高頻問題：
1.如何從圖神經網絡的原理轉化到實際編程
關鍵點：
1. 掌握圖神經網絡原理 2. 圖卷積神經網絡編程實現
實操解析與訓練
第十階段：
Transformer實踐
實驗：基于Transformer的對話生成
1. Transformer原理 2. 基于Transformer的對話生成
3.基于 Transformer 的應用
高頻問題：
1.如何應用自注意力機制 2.如何應用于自然語言處理與計算機視覺
關鍵點：
1.self-Attention機制 2.position
更多內容請關注微信公眾號：人工智能技術與咨詢或登錄中國人工智能培訓網
展開 人工智能 大數據 深度強化學習
課程安排
一、大數據概述
二、大數據處理架構Hadoop
三、分布式文件系統HDFS
四、分布式數據庫HBase
五、MapReduce
六、Spark
七、IPython Notebook運行Python Spark程序
八、Python Spark集成開發環境
九、Python Spark決策樹二分類與多分類
十、Python Spark支持向量機
十一、Python Spark 貝葉斯模型
十二、Python Spark邏輯回歸
十三、Python Spark回歸分析
十四、Spark ML Pipeline 機器學習流程分類
十五、Python Spark 創建推薦引擎
十六、項目實踐
培訓目標
1.掌握大數據建模分析與使用方法。
2.掌握大數據平臺技術架構。
3.掌握國內外主流的大數據分析與BI商業智能分析解決方案。
4.掌握大數據分析在搜索引擎、廣告服務推薦、電商數據分析、金融客戶分析方面的應用。
5.掌握主流的基于大數據Hadoop和Spark、R的大數據分析平臺架構和實際應用。
6.掌握基于Hadoop大數據平臺的數據挖掘和數據倉庫分布式系統平臺應用，以及商業和開源的數據分析產品加上Hadoop平臺形成大數據分析平臺的應用剖析。
7.掌握常見的機器學習算法。
來源：www.chinaai.org.cn
關注微信公眾號人工智能技術與咨詢了解更多！
展開 基于模型的自動駕駛汽車端到端深度強化學習策略
這可以在 3D 中通過學習特征的深度分布提升每個圖像的先驗識別能力，然后將所有視錐體分散到公共光柵化 BeV 網格中來實現。另一種方法是依靠transformers（時空融合）來學習從圖像到鳥瞰圖的直接映射，而不需要顯式地建模深度。
3、世界模型
基于模型的方法主要在強化學習環境中進行探索，這種方法實際是在完全離線狀態下強化學習，并假設在與環境進行在線交互中可以獲得獎勵。基于模型的模仿學習已成為機器人操作和 OpenAI Gym 中強化學習的替代方案。盡管這些方法不需要獲得獎勵，但它們仍然需要與環境進行在線交互才能獲得良好的性能。
在視頻預測中，首先利用從圖像觀察中學習到的世界模型潛在動態，額外對獎勵函數進行建模，并優化他們在世界模型中的策略。當然，本文這里的算法是不假設訪問獎勵函數，而是直接從離線數據集中吸收學習策略。
此外，以前的方法是對簡單的視覺輸入進行操作。相比之下，MILE 能夠從高分辨率輸入觀察中學習到復雜城市駕駛場景的潛在動態，這可以很好的確保小細節的感知性能（例如可靠地感知交通信號燈）。
4、軌跡預測
軌跡預測的目標是使用過去的物理狀態（例如位置、速度）和場景上下文（例如離線高清地圖）來估計動態代理的未來軌跡。世界模型構建了環境的潛在表示，解釋了根據自車行為而獲得感官輸入（例如相機圖像）的觀察結果。軌跡預測方法僅對動態場景進行建模，而世界模型則對靜態和動態場景進行聯合推理。在世界模型的學習模型中可以潛在表示移動代理未來軌跡的隱式編碼，并且如果我們可以訪問未來的軌跡標簽，則可以顯式進行解碼。
這些編碼可以預測移動目標的未來軌跡，但沒有控制自車的主體。
展開 GRI：通用強化模仿學習，用于視覺自動駕駛
深度強化學習 （DRL）
已被證明對一些復雜的決策應用（如自動駕駛和機器人）問題有效。然而，DRL 面臨高樣本復雜性和缺乏穩定性等問題。先前的知識，如專家演示，往往可用，但利用其來減輕這些問題仍然是挑戰。該文提出了通用強化模仿（GRI），一種結合了探索和專家數據的方法，直接在任何不帶策略（off-policy）的強化學習（RL）算法實施。一個簡化的假設：專家的演示可以被看作是完美的數據，其基本策略得到不斷的高獎勵。基于此假設，GRI 引入了離線演示智體的概念。此智體發送專家數據，與在線 RL 探索智體的經驗，一起同時處理且無區分。
模仿學習（IL）
，特別是行為克 隆，旨在為給定的任務模仿專家的行為。它需要大量的標注數據，一般由人類駕駛員記錄。盡管此類數據很容易地大規模得到，但真實交通的實際安全問題，導致安全駕駛示例的嚴重偏差觀測數據，且不足以代表那些罕見的危險情況。因此，IL 代理存在分布不匹配問題，而且難以從自身錯誤中恢復。
深度強化學習 （DRL）
提供了一種替代方法，通過試錯讓智體從自身錯誤中吸取教訓，比 IL 更有力解決分布不匹配問題。在 強化學習（RL）框架中，智體自行探索其環境并收集獎勵，這是一個評估給定狀態下給定動作的優異值。智體的目標是最大化其累積獎勵。為此，需要優化動作序列，而不是作為瞬時動作序列。盡管如此，DRL 需要比 IL 多一個數量級的訓練數據才能收斂，因為在訓練期間對環境進行了廣泛且耗時的探索。
如圖即作者提出的GRI（General Reinforced Imitation）：采用端到端流水線，感知模塊對駕駛智體的三臺攝像機 RGB 圖像進行編碼，決策模塊從編碼函數中推斷出動作。
展開 自動駕駛前沿綜述：基于深度強化學習的自動駕駛算法
但是目前自動駕駛車輛通常使用的是強化學習，該方法的好處是可以處理隨機控制問題以及具有未知獎勵和狀態轉移概率的不適定問題。更多此方面的內容推薦閱讀綜述文 [1]。
強化學習（reinforcement Learning）
強化學習（RL）是于 監督學習（Sueprvised Learning）和非監督學習（Unsupervised Learning）之外的第三種機器學習（Machine Learning）方式。RL 通過一個代理來完成行動策略。代理的目標是最大化在其生命周期內收到的累積獎勵。代理可以通過利用了解不同狀態-動作對的預期效用（即預期未來獎勵的折扣和）的知識來逐漸增加其長期獎勵。
在形式化涉及單個 RL 代理的順序決策問題時，馬爾可夫決策過程 (MDP) 是最流行的解決方法。
展開 
深度學習核心技術實踐與圖神經網絡新技術應用研修班通知
生成對抗網絡原理 2.GAN的生成模型、判別模型的設計
高頻問題：
1.生成模型與判別模型的博弈過程
關鍵點：
1.掌握GAN的思想與原理 2.根據需求學會設計生成模型與判別模型
實操解析與訓練
第八階段：
強化學習實踐
實驗：游戲分析
1.游戲場景分析 2.強化學習的要素分析 3.深度強化學習
高頻問題：
1.DNN 與DQN 2.探索與利用
關鍵點：
1.深度強化學習的原理 2.根據實際需求，設計深度強化學習模型
實操解析與訓練
第九階段：
圖卷積神經網絡實踐
實驗：社交網絡分析
1.圖神經網絡的原理 2.圖卷積神經網絡的思想
3.設計圖卷積神經網絡進行社交網絡分析
高頻問題：
1.如何從圖神經網絡的原理轉化到實際編程
關鍵點：
1. 掌握圖神經網絡原理 2. 圖卷積神經網絡編程實現
實操解析與訓練
第十階段：
Transformer實踐
實驗：基于Transformer的對話生成
1. Transformer原理 2. 基于Transformer的對話生成
3.基于 Transformer 的應用
高頻問題：
1.如何應用自注意力機制 2.如何應用于自然語言處理與計算機視覺
關鍵點：
1.self-Attention機制 2.position
展開 無人機集群協同技術發展與展望
其中，深度強化學習在諸多領域得到了成功應用。無線通信網絡基于多智能體深度強化學習的資源分配技術也得到了深入研究。多智能體深度強化學習模型早已被用于解決車聯網中頻譜資源分配問題[15-16]，這種應用已經與無人機集群系統頗為接近。例如一種基于多智能體深度強化學習的分布式動態功率分配方案[17]。基于多智能體深度強化學習的策略還可被用于二者的結合——用無人機輔助車輛網絡進行多維資源管理[18]。
雖然基于強化學習的多智能體通信網絡資源分配問題已經得到了廣泛研究，但是由于網絡特性的不同，傳統的針對其他通信網絡的研究成果不能直接用于無人機集群網絡。因而基于強化學習的多智能體自主協同應用逐漸成為未來無人機多智能體自主協同的一個研究熱點。針對無人機群的通信網絡資源動態分配問題而提出的多智能體深度強化學習方案也陸續出現[16]，例如，一種基于多智能體深度強化學習的分布式干擾協調策略被用于受到干擾的無人機網絡中的文件下載業務[19]。智能體在適用于無人機網絡特點的獨立強化學習中，其行為策略通常只能根據它們對全局環境的局部個體觀察來制定。針對這種局限性，聯合采用2種不同規模的智能體可解決智能體之間的通信問題[20]。
無人機集群協同，經常會處理動態高維離散和連續動作狀態空間的優化求解問題，近來出現的演員-評論家算法是深度強化學習的一個新興方向，結合了基于值函數和基于策略函數的深度強化學習兩大分支的優勢，非常適用于無人機集群的智能協同[21-23]。利用演員-評論家算法，在無線信道和可再生能源再生率都是隨機變化，且環境動態變化條件下，可尋求資源分配最佳策略[21]，如用于解決車聯網中復雜動態環境下的資源分配問題[22]。應用設備到設備(D2D)網絡的異構蜂窩網絡環境下，基于演員-評論家算法的策略可用于智能化節能模式選擇和資源分配[23]。
展開 深度學習|基于MobileNet的多目標跟蹤深度學習算法
源自：控制與決策 作者：薛俊韜 馬若寒 胡超芳
摘要
針對深度學習算法在多目標跟蹤中的實時性問題, 提出一種基于MobileNet的多目標跟蹤算法. 借助于MobileNet深度可分離卷積能夠對深度網絡模型進行壓縮的原理, 將YOLOv3主干網絡替換為MobileNet, 通過將標準卷積分解為深度卷積和逐點卷積, 保留多尺度預測部分, 以有效減少參數量. 對于檢測得到的邊框信息, 利用Deep-SORT算法進行跟蹤. 實驗結果表明, 所提出方法在跟蹤效果基本不變的情況下可提升處理速度近50%.
關鍵詞
深度學習 多目標跟蹤 目標檢測 YOLOv3 deep-SORT MobileNet
0 引言
多目標跟蹤是計算機視覺領域的研究熱點, 可應用于交通監測、安防等多個領域, 具有一定的應用價值和挑戰性[1]. 檢測方式可以分為檢測跟蹤和無檢測跟蹤兩類, 前者需要檢測目標后再進行跟蹤; 后者需要在第1幀手動初始化目標, 然后進行跟蹤. 在目標跟蹤中, 涌現出許多具有良好性能的算法, 如SSD[2]、R-CNN[3-4]以及YOLO系列[5-7], 其中YOLOv3[7]算法在檢測跟蹤中體現出較強的優勢.
由于深度學習的發展, 卷積神經網絡模型逐漸替代了傳統手工設計的特征, 提供了一種端到端的處理方法, 精度也大幅提高. 但CNN模型在不斷提高精度的同時, 其網絡深度和尺寸也在成倍增長, 需要GPU來進行加速, 使得基于深度學習的跟蹤算法無法直接應用于移動設備, 導致難以符合實時性要求. 因此降低算法復雜度、提高實時性、簡化和加速模型便成為亟待解決的問題. 文獻[8-10]使用剪枝方法對神經網絡進行網絡壓縮. 文獻[11]提出從零開始訓練低秩約束卷積神經網絡模型的方法, 不僅速度得到提升, 而且在一些情況下模型性能也有所提高.
展開 深度學習|會開發AI的AI：超網絡有望讓深度學習大眾化
會開發AI的AI：超網絡有望讓深度學習大眾化
超網絡（hypernetwork）可以加快訓練AI的過程。
編者按：在執行特定類型任務，如圖像識別、語音識別等方面，AI已經可以與人類相媲美了，甚至有時候已經超越了人類。但這些AI事先必須經過訓練，而訓練是個既耗時又耗計算能力的過程，有上百萬甚至幾十億的參數需要優化。但最近研究人員做出了能瞬時預測參數的超網絡。通過利用超網絡（hypernetwork），研究人員現在可以先下手為強，提前對人工神經網絡進行調優，從而節省部分訓練時間和費用。文章來自編譯。譯者：boxi。
劃重點：
人工智能是一場數字游戲，訓練耗時耗力
超網絡可以在幾分之一秒內預測出新網絡的參數
超網絡的表現往往可以跟數千次 SGD 迭代的結果不相上下，有時甚至是更好
超網絡有望讓深度學習大眾化
人工智能在很大程度上是一場數字游戲。10 年前，深度神經網絡（一種學習識別數據模式的 AI 形式）之所以開始超越傳統算法，那是因為我們終于有了足夠的數據和處理能力，可以充分利用這種AI。
現如今的神經網絡對數據和處理能力更加渴望。訓練它們需要對表征參數的值進行仔細的調整，那些參數代表人工神經元之間連接的強度，有數百萬甚至數十億之巨。其目標是為它們找到接近理想的值，而這個過程叫做優化，但訓練網絡達到這一點并不容易。 DeepMind研究科學家Petar Veli?kovi? 表示：“訓練可能需要數天、數周甚至數月之久”。
但這種情況可能很快就會改變。加拿大安大略省圭爾夫大學（University of Guelph）的Boris Knyazev和他的同事設計并訓練了一個“超網絡”——這有點像是凌駕于其他神經網絡之上的最高統治者——用它可以加快訓練的過程。
展開 