多目標跟蹤網絡
關注創建者：匿名 創建時間：2021-11-08
多目標跟蹤網絡的實例教程
以上基于聚類的無監督方法可以獲得一定的場景泛化能力來應對光線變化，但僅使用二維圖像對復雜場景分割的精度依舊有限且難以進行場景感知，亦存在較多局限性。
針對室內場景目標多種多樣，各目標之間差異較大，比如有靠椅、有凳子等，傳統圖像算法難以完整的分割出目標，且難以獲得類別標簽等更多的信息。近年來，隨著GPU 算力的增長以及數據集的完善，基于深度學習的語義分割算法飛速發展，圖像分割技術水平大幅提高，可以實現圖像像素級分類，目標分割完整度得到大大提升，進而分割精度得到大大提升Long等人于 2014 年提出了全卷積網絡（Fully Convolutional Network，FCN）進行語義分割，該網絡實現了端到端的逐像素分類，是深度學習語義分割方法的基石。該算法以 VGG-16 網絡為主干網絡，去除了網絡后的全連接層（Fully Connected Layer，FC）。由于 VGG-16 中只有全連接層要求輸入尺寸為固定大小，去除全連接層后，輸入網絡的圖像尺寸便可以是動態大小，去除了固定輸入尺寸的限制。同時 FCN 根據不同的下采樣倍率，將下采樣時得到的特征圖與上采樣進行轉置卷積計算時的特征圖進行融合得到了精細的像素級分割結果，為后續語義分割網絡設計奠定了基礎框架。所以后續分割算法大都以其為基礎進行改進。SegNet在解碼器部分使用上池化操作進行上采樣保留了高頻細節的完整性，實現了更精細的分割。之后的Unet在編解碼器間加入了若干跳躍連接，融合了編解碼器不同層次的特征，減小了信息丟失來提升精度，由于 Unet 設計了簡單高效的特征融合方式，在醫學圖像上作細胞分割效果較好，之后醫學圖像分割領域出現了很多基于 Unet 改進的分割網絡。
展開 1、功能豐富效果佳
PP-Tracking內置DeepSORT[6]、JDE[7]與FairMOT[8]三種主流高精度多目標
跟蹤模型，并針對產業痛點、結合實際落地場景進行一系列拓展和優化，覆蓋多類別跟蹤、跨鏡跟蹤、流量統計等功能與應用，可謂是精度、性能、功能豐富樣樣俱全。
單鏡頭跟蹤
單鏡頭下的單類別目標跟蹤是指在單個鏡頭下，對于同一種類別的多個目標進行連續跟蹤，是跟蹤任務的基礎。針對該任務，PP-Tracking基于端到端的One Shot高精模型FairMOT[8]，替換為
更輕量的骨干網絡HRNetV2-W18
，采用多種Tricks，如Sync_BN與EMA，
保持性能的同時大幅提高了精度，并且擴大訓練數據集，減小輸入尺寸
，最終實現服務端輕量化模型在權威數據集MOT17上精度達到
MOTA 65.3
，在NVIDIA Jetson NX上速度達到
23.3FPS
，GPU上速度可達到
60FPS
！
展開 孿生網絡(siamese network)和人臉識別的思路類似，使用二元或三元(++-)輸入，訓練模型使相似樣本之間的距離盡可能小，而不相似樣本之間的距離盡可能大。
目標跟蹤(object tracking)
目標跟蹤旨在跟蹤一段視頻中的目標的運動情況。通常，視頻第一幀中目標的位置會以包圍盒的形式給出，我們需要預測其他幀中該目標的包圍盒。目標跟蹤類似于目標檢測，但目標跟蹤的難點在于事先不知道要跟蹤的目標具體是什么，因此無法事先收集足夠的訓練數據以訓練一個專門的檢測器。
孿生網絡 類似于人臉驗證的思路，利用孿生網絡，一支輸入第一幀包圍盒內圖像，另一支輸入其他幀的候選圖像區域，輸出兩張圖的相似度。我們不需要遍歷其他幀的所有可能的候選區域，利用全卷積網絡，我們只需要前饋整張圖像一次。通過互相關操作(卷積)，得到二維的響應圖，其中最大響應位置確定了需要預測的包圍盒位置。基于孿生網絡的方法速度快，能處理任意大小的圖像。
CFNet 相關濾波通過訓練一個線性模板來區分圖像區域和它周圍區域，利用傅里葉變換，相關濾波有十分高效的實現。
展開 來源 |
人工智能感知信息處理算法研究院
基于深度學習的多目標跟蹤算法的主要任務是，優化檢測目標之間的相似性或距離度量的設計。根網絡學習到的特征的區別，可以將基于深度學習的多目標跟蹤算法分為基于深度表現特征的跟蹤網絡，基于相似性度量的跟蹤網絡以及基于高階匹配特征的跟蹤網絡如下圖所示。
將神經網絡學習到的目標的表觀特征引入到多目標跟蹤算法中，是提升多目標跟蹤算法效果的最簡單直接的辦法。其具體的操作方法有以下幾種：利用在圖像識別或行人重識別任務訓練得到的特征提取網絡，直接替換現有的多目標跟蹤算法框架中的表觀特征提取模塊；采用深度神經網絡學習光流運動特征，將光流網絡引入到算法中計算目標之間的運動相關性等。而通過深度學習提升多目標跟蹤算法更加直接的方法是學習檢測之間的特征相似性。譬如，設計深度網絡對不同目標之間的相似性進行度量，使得同一目標的相似距離小，不同目標的相似距離大，從而構造關于檢測距離的代價函數。也可以通過設計二分類代價，使相同目標的檢測特征匹配類型為 1，然不同目標的檢測特征匹配類型為 0，從而學習并輸出(0,1]之間的檢測匹配度。如果考慮已有軌跡與檢測之間的匹配，采用深度學習方法可以用于設計并計算軌跡之間的匹配相似度，這種方法可以認為是基于深度學習的高階特征匹配方法。使用深度學習計算高階特征匹配算法，可以學習多幀表現特征的高階匹配相似度，也可以學習運動特征的匹配相關度。下面將通過對基于孿生網絡的深度學習多目標跟蹤算法的詳細介紹，來說明基于深度學習的多目標跟蹤算法的詳細步驟。
基于對稱網絡的多目標跟蹤算法有很多種，而其中的一種便是采用 Siamese對稱卷積網絡，該算法以兩個尺寸相同的檢測圖像塊為輸入，輸出為兩個圖像塊是否屬于同一個目標的判別。
展開 源自：控制與決策 作者：薛俊韜 馬若寒 胡超芳
摘要
針對深度學習算法在多目標跟蹤中的實時性問題, 提出一種基于MobileNet的多目標跟蹤算法. 借助于MobileNet深度可分離卷積能夠對深度網絡模型進行壓縮的原理, 將YOLOv3主干網絡替換為MobileNet, 通過將標準卷積分解為深度卷積和逐點卷積, 保留多尺度預測部分, 以有效減少參數量. 對于檢測得到的邊框信息, 利用Deep-SORT算法進行跟蹤. 實驗結果表明, 所提出方法在跟蹤效果基本不變的情況下可提升處理速度近50%.
關鍵詞
深度學習 多目標跟蹤 目標檢測 YOLOv3 deep-SORT MobileNet
0 引言
多目標跟蹤是計算機視覺領域的研究熱點, 可應用于交通監測、安防等多個領域, 具有一定的應用價值和挑戰性[1]. 檢測方式可以分為檢測跟蹤和無檢測跟蹤兩類, 前者需要檢測目標后再進行跟蹤; 后者需要在第1幀手動初始化目標, 然后進行跟蹤. 在目標跟蹤中, 涌現出許多具有良好性能的算法, 如SSD[2]、R-CNN[3-4]以及YOLO系列[5-7], 其中YOLOv3[7]算法在檢測跟蹤中體現出較強的優勢.
由于深度學習的發展, 卷積神經網絡模型逐漸替代了傳統手工設計的特征, 提供了一種端到端的處理方法, 精度也大幅提高. 但CNN模型在不斷提高精度的同時, 其網絡深度和尺寸也在成倍增長, 需要GPU來進行加速, 使得基于深度學習的跟蹤算法無法直接應用于移動設備, 導致難以符合實時性要求. 因此降低算法復雜度、提高實時性、簡化和加速模型便成為亟待解決的問題. 文獻[8-10]使用剪枝方法對神經網絡進行網絡壓縮. 文獻[11]提出從零開始訓練低秩約束卷積神經網絡模型的方法, 不僅速度得到提升, 而且在一些情況下模型性能也有所提高.
展開 
多目標跟蹤網絡的相關專題、標簽、搜索
多目標跟蹤網絡的最新內容
基于matlab的交互多模算法（IMM）機動目標跟蹤算法，完整的15頁文檔論文。根據二維空間內目標作勻速直線運動和勻速圓周運動的特點，在建立目標運動模型和觀測模型的基礎上采用基于交互多模算法（IMM）的卡爾曼濾波器對機動目標進行跟蹤。仿真結果表明，該算法不僅能夠對勻速直線運動和勻速圓周運動的目標進行跟蹤，而且在運動模型發生變化時，濾波誤差也比較小。程序已調通，可直接運行。
基于matlab的關于多目標跟蹤的的濾波程序，包括采用聯合概率數據互聯（JPDA）算法實現兩個個勻速運動目標的點跡與航跡的關聯，輸出兩個目標跟蹤的觀測位置、估計位置以及估計誤差。程序已調通，可直接運行。
本文針對算法的實時性問題, 結合深度學習目標檢測、深度網絡模型壓縮以及多目標跟蹤算法, 提出基于MobileNet的多目標跟蹤算法, 在保證精度的前提下, 有效改善深度網絡模型龐大以及計算復雜的問題, 提高了算法的執行速度.
1 YOLOv3目標檢測算法
YOLOv3算法的基本思想是: 將輸入圖像分割為S×S 個單元格, 每個單元格用于檢測中心點落在該網格內的目標, 并預測B 個邊界框和置信度
來源 |
CV技術指南
在琳瑯滿目的視覺應用中，對車輛、行人、飛行器等快速移動的物體進行實時跟蹤及分析，可以說是突破安防、自動駕駛、智慧城市等炙手可熱行業的利器。
但要實現又快又準的持續跟蹤，往往面臨被檢目標多、相互遮擋、圖像扭曲變形、背景雜亂、視角差異大、目標小且運動速度快等產業難題。
來源 |
人工智能感知信息處理算法研究院
受到閾值分割方法的啟發，在早期圖像分割常用傳統的閾值分割方法結合具體的使用場景手動設計特征并調參進行場景分割，基于閾值的二值分割的算法得到廣泛應用。楊等人基于直方圖提出了一種改進的閾值分割方法并將其應用在足球機器人上。王等人利用閾值提取邊緣并基于邊緣信息對圖像進行分割。趙等人利用 Otsu閾值及炭疽孢子的連通特性及形狀特征實現對炭疽孢子的分割
下面將通過對基于孿生網絡的深度學習多目標跟蹤算法的詳細介紹，來說明基于深度學習的多目標跟蹤算法的詳細步驟。
基于對稱網絡的多目標跟蹤算法有很多種，而其中的一種便是采用 Siamese對稱卷積網絡，該算法以兩個尺寸相同的檢測圖像塊為輸入，輸出為兩個圖像塊是否屬于同一個目標的判別。通常有三種拓撲形式的 Siamese 網絡，其結構分別如下圖所示。
作者 | 張皓（南京大學）
編輯 | 小安
來源 | 新智元、新機器視覺
深度學習目前已成為發展最快、最令人興奮的機器學習領域之一。本文以計算機視覺的重要概念為線索，介紹深度學習在計算機視覺任務中的應用，包括網絡壓縮、細粒度圖像分類、看圖說話、視覺問答、圖像理解、紋理生成和風格遷移
