多目標跟蹤的案例
基于深度學習的多目標跟蹤算法原理
來源 |
人工智能感知信息處理算法研究院
基于深度學習的多目標跟蹤算法的主要任務是，優化檢測目標之間的相似性或距離度量的設計。根網絡學習到的特征的區別，可以將基于深度學習的多目標跟蹤算法分為基于深度表現特征的跟蹤網絡，基于相似性度量的跟蹤網絡以及基于高階匹配特征的跟蹤網絡如下圖所示。
將神經網絡學習到的目標的表觀特征引入到多目標跟蹤算法中，是提升多目標跟蹤算法效果的最簡單直接的辦法。其具體的操作方法有以下幾種：利用在圖像識別或行人重識別任務訓練得到的特征提取網絡，直接替換現有的多目標跟蹤算法框架中的表觀特征提取模塊；采用深度神經網絡學習光流運動特征，將光流網絡引入到算法中計算目標之間的運動相關性等。而通過深度學習提升多目標跟蹤算法更加直接的方法是學習檢測之間的特征相似性。譬如，設計深度網絡對不同目標之間的相似性進行度量，使得同一目標的相似距離小，不同目標的相似距離大，從而構造關于檢測距離的代價函數。也可以通過設計二分類代價，使相同目標的檢測特征匹配類型為 1，然不同目標的檢測特征匹配類型為 0，從而學習并輸出(0,1]之間的檢測匹配度。如果考慮已有軌跡與檢測之間的匹配，采用深度學習方法可以用于設計并計算軌跡之間的匹配相似度，這種方法可以認為是基于深度學習的高階特征匹配方法。使用深度學習計算高階特征匹配算法，可以學習多幀表現特征的高階匹配相似度，也可以學習運動特征的匹配相關度。下面將通過對基于孿生網絡的深度學習多目標跟蹤算法的詳細介紹，來說明基于深度學習的多目標跟蹤算法的詳細步驟。
基于對稱網絡的多目標跟蹤算法有很多種，而其中的一種便是采用 Siamese對稱卷積網絡，該算法以兩個尺寸相同的檢測圖像塊為輸入，輸出為兩個圖像塊是否屬于同一個目標的判別。
展開 深度學習|基于MobileNet的多目標跟蹤深度學習算法
源自：控制與決策 作者：薛俊韜 馬若寒 胡超芳
摘要
針對深度學習算法在多目標跟蹤中的實時性問題, 提出一種基于MobileNet的多目標跟蹤算法. 借助于MobileNet深度可分離卷積能夠對深度網絡模型進行壓縮的原理, 將YOLOv3主干網絡替換為MobileNet, 通過將標準卷積分解為深度卷積和逐點卷積, 保留多尺度預測部分, 以有效減少參數量. 對于檢測得到的邊框信息, 利用Deep-SORT算法進行跟蹤. 實驗結果表明, 所提出方法在跟蹤效果基本不變的情況下可提升處理速度近50%.
關鍵詞
深度學習 多目標跟蹤 目標檢測 YOLOv3 deep-SORT MobileNet
0 引言
多目標跟蹤是計算機視覺領域的研究熱點, 可應用于交通監測、安防等多個領域, 具有一定的應用價值和挑戰性[1]. 檢測方式可以分為檢測跟蹤和無檢測跟蹤兩類, 前者需要檢測目標后再進行跟蹤; 后者需要在第1幀手動初始化目標, 然后進行跟蹤. 在目標跟蹤中, 涌現出許多具有良好性能的算法, 如SSD[2]、R-CNN[3-4]以及YOLO系列[5-7], 其中YOLOv3[7]算法在檢測跟蹤中體現出較強的優勢.
由于深度學習的發展, 卷積神經網絡模型逐漸替代了傳統手工設計的特征, 提供了一種端到端的處理方法, 精度也大幅提高. 但CNN模型在不斷提高精度的同時, 其網絡深度和尺寸也在成倍增長, 需要GPU來進行加速, 使得基于深度學習的跟蹤算法無法直接應用于移動設備, 導致難以符合實時性要求. 因此降低算法復雜度、提高實時性、簡化和加速模型便成為亟待解決的問題. 文獻[8-10]使用剪枝方法對神經網絡進行網絡壓縮. 文獻[11]提出從零開始訓練低秩約束卷積神經網絡模型的方法, 不僅速度得到提升, 而且在一些情況下模型性能也有所提高.
展開 205基于matlab的關于多目標跟蹤的的濾波程序 ￥15.9
基于matlab的關于多目標跟蹤的的濾波程序，包括采用聯合概率數據互聯（JPDA）算法實現兩個個勻速運動目標的點跡與航跡的關聯，輸出兩個目標跟蹤的觀測位置、估計位置以及估計誤差。程序已調通，可直接運行。
車輛、行人跟蹤一網打盡，超輕量、多類別、小目標跟蹤系統開源了！
來源 |
CV技術指南
在琳瑯滿目的視覺應用中，對車輛、行人、飛行器等快速移動的物體進行實時跟蹤及分析，可以說是突破安防、自動駕駛、智慧城市等炙手可熱行業的利器。
但要實現又快又準的持續跟蹤，往往面臨被檢目標多、相互遮擋、圖像扭曲變形、背景雜亂、視角差異大、目標小且運動速度快等產業難題。
視頻引用公開數據集[1][2][3][4]
那如何快速實現高性能的目標跟蹤任務, 并在移動端實現部署上線呢？今天給大家介紹的不僅僅是單獨的智能視覺算法，而是一整套多功能多場景的跟蹤系統—PP-Tracking。
它融合了目標檢測、行人重識別、軌跡融合等核心能力，并針對性的優化和解決上述實際業務的痛點難點，提供行人車輛跟蹤、跨鏡頭跟蹤、多類別跟蹤、小目標跟蹤及流量計數等能力與產業應用，還支持可視化界面開發，讓你快速上手、迅速落地。
趕緊Star? 獲得所有算法源碼！習得目標跟蹤“秘籍”吧。
項目鏈接
https://github.com/PaddlePaddle/paddledetection
下面讓小編來帶大家來快速領略下這套目標跟蹤系統的大致結構、優勢兩點等。
展開 
一文熟悉視頻目標跟蹤
視頻目標跟蹤技術，作為計算機視覺領域中基礎的、重要的研宄方向之一，一直是研宄人員的關注熱點。
視頻目標跟蹤要求在已知第一幀感興趣物體的位置和尺度信息的情況下，對該目標在后續視頻幀中進行持續的定位和尺度估計Ｗ。廣義的目標跟蹤通常包含單目標跟蹤和多目標跟蹤。兩者既有差別又有緊密的聯系。多目標跟蹤算法主要包括目標檢測和軌跡關聯，以確保同一個物體在視頻中獲得固定的、唯一的數字標識。多目標跟蹤通常限定在目標類別已知的場景中，如多行人、多車輛的視覺跟蹤。因此，多目標跟蹤算法高度依賴現成的目標檢測器。物體檢測的質量直接關系到后續的多目標軌跡關聯。不同地，單目標跟蹤算法要求處理任意類別的物體，即不知道任何關于目標的先驗信息。雖然前提條件略有差異，但正如其名，單目標跟蹤與多目標跟蹤都緊緊圍繞著視頻中的物體識別與跟蹤，因而在外觀建模、運動分析、軌跡關聯等技術細節上有緊密的關聯。如何將單目標跟蹤技術應用于多目標跟蹤領域也被廣泛研宄。因此，研究經典的、通用的單目標跟蹤任務對于整個跟蹤領域的發展有重要意義
隨著計算機運算性能的突飛猛進、高性能攝像終端的廣泛普及、以及視頻分析需求的與日俱增，目標跟蹤算法應用范圍愈發廣泛，落地需求愈加強烈。實現一個可以精準地、穩健地、快速地執行目標定位的高效視覺跟蹤系統是目前不懈努力的技術方向＝近年來，在國內外大量學者的努力研宄下，該方向已經取得了突飛猛進的進展，但同時仍存在許多亟需解決的問題，例如如何應對跟蹤過程中目標的形變、模糊、旋轉、遮擋、超出視野等。隨著深度模型如卷積神經網絡
（Convolutional Neural Network，CNN）
等的應用，以及GPU設備帶來的計算效率的巨大躍升，目標跟蹤技術受益于更魯棒的特征表達以及端到端的模型訓練，已經在速度和精度方面漸漸接近了人們在實際生活中的應用需求。
展開 多特征融合的多目標跟蹤網絡
以上基于聚類的無監督方法可以獲得一定的場景泛化能力來應對光線變化，但僅使用二維圖像對復雜場景分割的精度依舊有限且難以進行場景感知，亦存在較多局限性。
針對室內場景目標多種多樣，各目標之間差異較大，比如有靠椅、有凳子等，傳統圖像算法難以完整的分割出目標，且難以獲得類別標簽等更多的信息。近年來，隨著GPU 算力的增長以及數據集的完善，基于深度學習的語義分割算法飛速發展，圖像分割技術水平大幅提高，可以實現圖像像素級分類，目標分割完整度得到大大提升，進而分割精度得到大大提升Long等人于 2014 年提出了全卷積網絡（Fully Convolutional Network，FCN）進行語義分割，該網絡實現了端到端的逐像素分類，是深度學習語義分割方法的基石。該算法以 VGG-16 網絡為主干網絡，去除了網絡后的全連接層（Fully Connected Layer，FC）。由于 VGG-16 中只有全連接層要求輸入尺寸為固定大小，去除全連接層后，輸入網絡的圖像尺寸便可以是動態大小，去除了固定輸入尺寸的限制。同時 FCN 根據不同的下采樣倍率，將下采樣時得到的特征圖與上采樣進行轉置卷積計算時的特征圖進行融合得到了精細的像素級分割結果，為后續語義分割網絡設計奠定了基礎框架。所以后續分割算法大都以其為基礎進行改進。SegNet在解碼器部分使用上池化操作進行上采樣保留了高頻細節的完整性，實現了更精細的分割。之后的Unet在編解碼器間加入了若干跳躍連接，融合了編解碼器不同層次的特征，減小了信息丟失來提升精度，由于 Unet 設計了簡單高效的特征融合方式，在醫學圖像上作細胞分割效果較好，之后醫學圖像分割領域出現了很多基于 Unet 改進的分割網絡。
展開 214基于matlab的交互多模算法（IMM）機動目標跟蹤算法 ￥25.5
基于matlab的交互多模算法（IMM）機動目標跟蹤算法，完整的15頁文檔論文。根據二維空間內目標作勻速直線運動和勻速圓周運動的特點，在建立目標運動模型和觀測模型的基礎上采用基于交互多模算法（IMM）的卡爾曼濾波器對機動目標進行跟蹤。仿真結果表明，該算法不僅能夠對勻速直線運動和勻速圓周運動的目標進行跟蹤，而且在運動模型發生變化時，濾波誤差也比較小。程序已調通，可直接運行。
基于深度學習的機器人目標識別和跟蹤
在目標跟蹤方面
專門應用于目標跟蹤任務的訓練集較少，無法適應當前多變的跟蹤環境，完成訓練任務。
當前的訓練模型受限于目標的遮擋、外觀的強烈變化等等問題，使得算法無法實現長時間的精確跟蹤。除此以外跟蹤時，由于受到外界因素影響，可能會有一些相似對象，從而使得跟蹤出現錯誤。
但是我相信經過人們對于機器視覺領域的不斷研究，未來會有越來越多的基于深度學習的方法去優化目標跟蹤任務中出現的一系列情況，比如說采用大規模視頻數據的數據集進行離線訓練等等，在目標識別領域未來也將會降低環境對檢測的影響能更加精準的檢測各種大小的目標，并且最終將兩種技術更好的結合在一起應用到機器人技術應用的各個方面。
來源：www.chinaai.org.cn 關注微信公眾號人工智能技術與咨詢了解更多！
展開 216 基于matlab的機動目標跟蹤濾波方法 ￥25.5
基于matlab的機動目標跟蹤濾波方法，勻加速模型（CA）、多模型有交互式多模型（IMM）、擴展卡爾曼濾波（EKF）、不敏卡爾曼濾波（UKF）進行跟蹤濾波。程序已調通，可直接運行。
187基于matlab的彈道目標跟蹤濾波方法 ￥19.89
基于matlab的彈道目標跟蹤濾波方法，擴展卡爾曼濾波（extended Kalman filter, EKF）、轉換測量卡爾曼濾波（conversion measurement Kalman filter, CMKF）跟蹤濾波，得到距離、方位角、俯仰角誤差結果。程序已調通，可直接運行。
計算機視覺必讀：目標跟蹤、網絡壓縮、圖像分類、人臉識別等
目標跟蹤(object tracking)
目標跟蹤旨在跟蹤一段視頻中的目標的運動情況。通常，視頻第一幀中目標的位置會以包圍盒的形式給出，我們需要預測其他幀中該目標的包圍盒。目標跟蹤類似于目標檢測，但目標跟蹤的難點在于事先不知道要跟蹤的目標具體是什么，因此無法事先收集足夠的訓練數據以訓練一個專門的檢測器。
孿生網絡 類似于人臉驗證的思路，利用孿生網絡，一支輸入第一幀包圍盒內圖像，另一支輸入其他幀的候選圖像區域，輸出兩張圖的相似度。我們不需要遍歷其他幀的所有可能的候選區域，利用全卷積網絡，我們只需要前饋整張圖像一次。通過互相關操作(卷積)，得到二維的響應圖，其中最大響應位置確定了需要預測的包圍盒位置。基于孿生網絡的方法速度快，能處理任意大小的圖像。
CFNet 相關濾波通過訓練一個線性模板來區分圖像區域和它周圍區域，利用傅里葉變換，相關濾波有十分高效的實現。CFNet結合離線訓練的孿生網絡和在線更新的相關濾波模塊，提升輕量級網絡的跟蹤性能。
生成式模型(generative models)
這類模型旨在學得數據(圖像)的分布，或從該分布中采樣得到新的圖像。
展開 
一文帶你了解機器人是如何通過視覺實現目標跟蹤的！
判別式算法框架
03 目標跟蹤任務的困難和挑戰
雖然目標追蹤的應用前景非常廣泛，但還是有一些問題限制了它的應用，主要問題例舉如下：
形態變化 - 姿態變化是目標跟蹤中常見的干擾問題。運動目標發生姿態變化時, 會導致它的特征以及外觀模型發生改變, 容易導致跟蹤失敗。例如:體育比賽中的運動員、馬路上的行人。
尺度變化 - 尺度的自適應也是目標跟蹤中的關鍵問題。當目標尺度縮小時, 由于跟蹤框不能自適應跟蹤, 會將很多背景信息包含在內, 導致目標模型的更新錯誤:當目標尺度增大時, 由于跟蹤框不能將目標完全包括在內, 跟蹤框內目標信息不全, 也會導致目標模型的更新錯誤。因此, 實現尺度自適應跟蹤是十分必要的。
遮擋與消失 - 目標在運動過程中可能出現被遮擋或者短暫的消失情況。當這種情況發生時, 跟蹤框容易將遮擋物以及背景信息包含在跟蹤框內, 會導致后續幀中的跟蹤目標漂移到遮擋物上面。若目標被完全遮擋時, 由于找不到目標的對應模型, 會導致跟蹤失敗。
圖像模糊 - 光照強度變化, 目標快速運動, 低分辨率等情況會導致目標模糊, 尤其是在運動目標與背景相似的情況下更為明顯。因此, 選擇有效的特征對目標和背景進行區分非常必要。
下圖是上述問題的一些實例。
展開 2-12 基于CV模型卡爾曼濾波、CT模型卡爾曼濾波、IMM模型濾波的目標跟蹤 ￥15.9
基于CV模型卡爾曼濾波、CT模型卡爾曼濾波、IMM模型濾波的目標跟蹤。輸出跟蹤軌跡及其誤差。程序已調通，可直接運行。
多目標多學科優化--Isight軟件概述
多目標多學科優化
—Isight軟件概述
Isight是國際上最先進的基于參數的多學科設計優化軟件，將過程集成、設計優化和穩健性設計有機結合，現為法國Dassault/Simulia公司旗下拳頭產品。Isight將數字技術、推理技術和設計探索技術有效融合，并把大量的需要人工完成的工作由軟件實現自動化處理，也被稱為“軟件機器人”。可集成仿真代碼并提供設計智能支持，從而對多個設計可選方案進行評估，大大縮短了產品的設計周期，顯著提高。
Isight提供專用的多學科設計優化語言MDoL來描述MDO問題，具有很好的集成遺留程序的能力。可在異構計算機環境下實現分布式計算，并支持并行計算；同DAKOTA一樣，Isight提供了豐富的優化算法和多種代理模型方法，具有良好的可視化功能;對多種CAD和CAE商用軟件提供接口，如Abaqus、Nastran、Ansys、Fluent、CFX、Catia V5等；在Isight框架中還提供了較好的基于穩健性的設計優化和基于可靠性的設計優化的功能。
Isight提供了強大的用戶界面，通過圖形化工作界面，用戶可以進行產品設計的過程集成、優化處理和自動化求解工作。其圖形化用戶界面可以分為三個功能部分，過成集成、問題定義和方案監控。每一個功能部分都強調了設計研究中需要的集成，自動化和監控步驟。
過程集成可以快速耦合各學科、不同編程語言和格式的仿真代碼。在該界面里完成數據流和控制流的可視化，另外還提供過程的結構化視圖，方便導航和操作。
軟件的參數界面提供了類似電子表格形式的操作風格，方便用戶快速定義設計變量、目標、約束和初始值。
Isight允許用戶編制針對不同問題的任務計劃，其可以是任意嵌套和組合各種算法，從而通過智能化的探索，選擇新的設計點，執行模擬分析流程，并使這一過程自動化。
展開 如何使用Optistruct進行應力拓撲優化或多目標、多約束優化 ￥9.99
同樣使用本文的方法還可以求解多目標優化和多約束優化等等，不僅僅是拓撲優化，尺寸優化，形狀優化也能解決，因為這三種優化類型都需要響應。
