視頻目標跟蹤的案例
一文熟悉視頻目標跟蹤
以圖像和視頻為信息載體的各項計算機視覺算法，早己滲透到大眾的日常生活中，如人臉識別、人機交互、商品檢索、智能監控、視覺導航等。視頻目標跟蹤技術，作為計算機視覺領域中基礎的、重要的研宄方向之一，一直是研宄人員的關注熱點。
視頻目標跟蹤要求在已知第一幀感興趣物體的位置和尺度信息的情況下，對該目標在后續視頻幀中進行持續的定位和尺度估計Ｗ。廣義的目標跟蹤通常包含單目標跟蹤和多目標跟蹤。兩者既有差別又有緊密的聯系。多目標跟蹤算法主要包括目標檢測和軌跡關聯，以確保同一個物體在視頻中獲得固定的、唯一的數字標識。多目標跟蹤通常限定在目標類別已知的場景中，如多行人、多車輛的視覺跟蹤。因此，多目標跟蹤算法高度依賴現成的目標檢測器。物體檢測的質量直接關系到后續的多目標軌跡關聯。不同地，單目標跟蹤算法要求處理任意類別的物體，即不知道任何關于目標的先驗信息。雖然前提條件略有差異，但正如其名，單目標跟蹤與多目標跟蹤都緊緊圍繞著視頻中的物體識別與跟蹤，因而在外觀建模、運動分析、軌跡關聯等技術細節上有緊密的關聯。如何將單目標跟蹤技術應用于多目標跟蹤領域也被廣泛研宄。因此，研究經典的、通用的單目標跟蹤任務對于整個跟蹤領域的發展有重要意義
隨著計算機運算性能的突飛猛進、高性能攝像終端的廣泛普及、以及視頻分析需求的與日俱增，目標跟蹤算法應用范圍愈發廣泛，落地需求愈加強烈。實現一個可以精準地、穩健地、快速地執行目標定位的高效視覺跟蹤系統是目前不懈努力的技術方向＝近年來，在國內外大量學者的努力研宄下，該方向已經取得了突飛猛進的進展，但同時仍存在許多亟需解決的問題，例如如何應對跟蹤過程中目標的形變、模糊、旋轉、遮擋、超出視野等。
展開 車輛、行人跟蹤一網打盡，超輕量、多類別、小目標跟蹤系統開源了！
同時，針對對精度要求較高的場景，PP-Tracking還提供了精度高達MOTA75.3的高精版跟蹤模型~
視頻引用公開數據集[3]
多類別跟蹤
PP-Tracking不僅高性能地實現了單鏡頭下的單類別目標跟蹤，更針對多種不同類別的目標跟蹤場景，
增強了特征匹配模塊以適配不同類別的跟蹤任務，
實現跟蹤類別覆蓋
人、自行車、小轎車、卡車、公交、三輪車
等上十種目標，精準實現多種不同種類物體的同時跟蹤。
視頻引用公開數據集[2]
跨鏡頭跟蹤
安防場景常常會涉及在多個鏡頭下對于目標物體的持續跟蹤。當目標從一個鏡頭切換到另一個鏡頭，往往會出現目標跟丟的情況，這時，一個效果好速度快的跨鏡頭跟蹤算法就必不可少了！PP-Tracking中提供的跨鏡頭跟蹤能力基于DeepSORT[6]算法，采用了百度自研的輕量級模型PP-PicoDet和PP-LCNet分別作為檢測模型和ReID模型，配合軌跡融合算法，保持高性能的同時也兼顧了高準確度，
實現在多個鏡頭下緊跟目標，無論鏡頭如何切換、場景如何變換，也能準確跟蹤目標的效果。
展開 基于深度學習的機器人目標識別和跟蹤
在目標跟蹤方面
專門應用于目標跟蹤任務的訓練集較少，無法適應當前多變的跟蹤環境，完成訓練任務。
當前的訓練模型受限于目標的遮擋、外觀的強烈變化等等問題，使得算法無法實現長時間的精確跟蹤。除此以外跟蹤時，由于受到外界因素影響，可能會有一些相似對象，從而使得跟蹤出現錯誤。
但是我相信經過人們對于機器視覺領域的不斷研究，未來會有越來越多的基于深度學習的方法去優化目標跟蹤任務中出現的一系列情況，比如說采用大規模視頻數據的數據集進行離線訓練等等，在目標識別領域未來也將會降低環境對檢測的影響能更加精準的檢測各種大小的目標，并且最終將兩種技術更好的結合在一起應用到機器人技術應用的各個方面。
來源：www.chinaai.org.cn 關注微信公眾號人工智能技術與咨詢了解更多！
展開 多特征融合的多目標跟蹤網絡
針對室內場景目標多種多樣，各目標之間差異較大，比如有靠椅、有凳子等，傳統圖像算法難以完整的分割出目標，且難以獲得類別標簽等更多的信息。近年來，隨著GPU 算力的增長以及數據集的完善，基于深度學習的語義分割算法飛速發展，圖像分割技術水平大幅提高，可以實現圖像像素級分類，目標分割完整度得到大大提升，進而分割精度得到大大提升Long等人于 2014 年提出了全卷積網絡（Fully Convolutional Network，FCN）進行語義分割，該網絡實現了端到端的逐像素分類，是深度學習語義分割方法的基石。該算法以 VGG-16 網絡為主干網絡，去除了網絡后的全連接層（Fully Connected Layer，FC）。由于 VGG-16 中只有全連接層要求輸入尺寸為固定大小，去除全連接層后，輸入網絡的圖像尺寸便可以是動態大小，去除了固定輸入尺寸的限制。同時 FCN 根據不同的下采樣倍率，將下采樣時得到的特征圖與上采樣進行轉置卷積計算時的特征圖進行融合得到了精細的像素級分割結果，為后續語義分割網絡設計奠定了基礎框架。所以后續分割算法大都以其為基礎進行改進。SegNet在解碼器部分使用上池化操作進行上采樣保留了高頻細節的完整性，實現了更精細的分割。之后的Unet在編解碼器間加入了若干跳躍連接，融合了編解碼器不同層次的特征，減小了信息丟失來提升精度，由于 Unet 設計了簡單高效的特征融合方式，在醫學圖像上作細胞分割效果較好，之后醫學圖像分割領域出現了很多基于 Unet 改進的分割網絡。2014年，Chen 等人在FCN 的特征提取網絡輸出端添加了條件隨機（Conditional Random Fields，CRF）模塊，進而提出了 Deeplab 方法，顯著提高了分割的精度。
展開 
基于深度學習的多目標跟蹤算法原理
來源 |
人工智能感知信息處理算法研究院
基于深度學習的多目標跟蹤算法的主要任務是，優化檢測目標之間的相似性或距離度量的設計。根網絡學習到的特征的區別，可以將基于深度學習的多目標跟蹤算法分為基于深度表現特征的跟蹤網絡，基于相似性度量的跟蹤網絡以及基于高階匹配特征的跟蹤網絡如下圖所示。
將神經網絡學習到的目標的表觀特征引入到多目標跟蹤算法中，是提升多目標跟蹤算法效果的最簡單直接的辦法。其具體的操作方法有以下幾種：利用在圖像識別或行人重識別任務訓練得到的特征提取網絡，直接替換現有的多目標跟蹤算法框架中的表觀特征提取模塊；采用深度神經網絡學習光流運動特征，將光流網絡引入到算法中計算目標之間的運動相關性等。而通過深度學習提升多目標跟蹤算法更加直接的方法是學習檢測之間的特征相似性。譬如，設計深度網絡對不同目標之間的相似性進行度量，使得同一目標的相似距離小，不同目標的相似距離大，從而構造關于檢測距離的代價函數。也可以通過設計二分類代價，使相同目標的檢測特征匹配類型為 1，然不同目標的檢測特征匹配類型為 0，從而學習并輸出(0,1]之間的檢測匹配度。如果考慮已有軌跡與檢測之間的匹配，采用深度學習方法可以用于設計并計算軌跡之間的匹配相似度，這種方法可以認為是基于深度學習的高階特征匹配方法。使用深度學習計算高階特征匹配算法，可以學習多幀表現特征的高階匹配相似度，也可以學習運動特征的匹配相關度。下面將通過對基于孿生網絡的深度學習多目標跟蹤算法的詳細介紹，來說明基于深度學習的多目標跟蹤算法的詳細步驟。
基于對稱網絡的多目標跟蹤算法有很多種，而其中的一種便是采用 Siamese對稱卷積網絡，該算法以兩個尺寸相同的檢測圖像塊為輸入，輸出為兩個圖像塊是否屬于同一個目標的判別。
展開 216 基于matlab的機動目標跟蹤濾波方法 ￥25.5
基于matlab的機動目標跟蹤濾波方法，勻加速模型（CA）、多模型有交互式多模型（IMM）、擴展卡爾曼濾波（EKF）、不敏卡爾曼濾波（UKF）進行跟蹤濾波。程序已調通，可直接運行。
187基于matlab的彈道目標跟蹤濾波方法 ￥19.89
基于matlab的彈道目標跟蹤濾波方法，擴展卡爾曼濾波（extended Kalman filter, EKF）、轉換測量卡爾曼濾波（conversion measurement Kalman filter, CMKF）跟蹤濾波，得到距離、方位角、俯仰角誤差結果。程序已調通，可直接運行。
視頻中的目標檢測與圖像中的目標檢測具體有什么區別？
與目標跟蹤的區別
目標跟蹤通常可分為單目標跟蹤和多目標跟蹤兩類，解決的任務和視頻目標檢測相同的點在于都需要對每幀圖像中的目標精準定位，不同點在于目標跟蹤不考慮目標的識別問題。
3. 視頻目標檢測進展情況
與光流結合的方法
一直在follow MSRA的Jifeng Dai大佬（大佬主頁）的工作。
該工作的優勢是利用了連續幀冗余信息減少了大量運算，檢測速度很快。
FGFA（Flow Guided Feature Aggregation）出發點主要在于，提高特征質量，改善視頻中存在的運動模糊，視頻失焦等問題，其方法特點在于更好的融合前后幀的信息。借助于注意力模型的思想，計算當前幀與前后幀之間的每個空間位置余弦相似度作為自適應權重，使通過warp的特征圖與當前幀越近的權重越大。
該工作由于對每幀都做了特征提取，計算開支很大，檢測速度不高。優勢是檢測精度得到提升，ImageNet VID 任務冠軍方案就使用了上述兩種方法。
與目標跟蹤結合的方法
鏈接：
https://link.zhihu.com/?
展開 深度學習|基于MobileNet的多目標跟蹤深度學習算法
圖 2 YOLOv3-MobileNet框架
2.3
多目標跟蹤
由于Deep-SORT算法加入了深度表觀特征, 并具有較高的準確度和實時性, 本文將基于MobileNet的目標檢測算法與Deep-SORT相結合進行多目標跟蹤, 主要分為以下部分:
1、目標檢測. 首先對輸入的視頻進行目標檢測, 得到目標的邊框及特征信息, 并根據置信度和非極大值抑制進行邊框過濾.
2、軌跡處理和狀態估計. 運動狀態估計中使用8個參數進行運動狀態的描述, 其中(u,υ)為邊框的中心坐標, γ為長寬比, h為高度, 這4個參數來源于目標檢測部分, 其余4個參數表示對應圖像坐標系中的速度信息.使用卡爾曼濾波器對運動狀態進行預測.
3、對跟蹤器參數和特征集進行更新, 判斷有無目標消失或者有無新目標出現. 對每個目標, 記錄其上次檢測結果和跟蹤結果匹配后的幀數ak, 只要檢測結果與跟蹤結果正確關聯, 就將該參數置為0. 如果ak超過了設置的最大閾值Amax, 則結束對該目標的跟蹤.
4、檢測結果與跟蹤預測結果匹配. 區分已確認和未確認狀態的跟蹤器, 對已確認狀態的跟蹤器進行匹配指派. 其中指派問題使用了匈牙利算法, 并同時考慮運動信息的關聯和目標外觀信息的關聯.
運動信息關聯: 使用卡爾曼濾波器預測狀態和新測量之間的馬氏距離, 以此表達運動信息, 有
(4)
式(4)表示第j個檢測結果與第ii條軌跡之間的運動匹配度. 其中: Si為卡爾曼濾波器當前時刻觀測空間的協方差矩陣, yi為當前時刻的預測觀測量, dj為第j個檢測的狀態(u,υ,γ,).
展開 205基于matlab的關于多目標跟蹤的的濾波程序 ￥15.9
基于matlab的關于多目標跟蹤的的濾波程序，包括采用聯合概率數據互聯（JPDA）算法實現兩個個勻速運動目標的點跡與航跡的關聯，輸出兩個目標跟蹤的觀測位置、估計位置以及估計誤差。程序已調通，可直接運行。
計算機視覺必讀：目標跟蹤、網絡壓縮、圖像分類、人臉識別等
目標跟蹤(object tracking)
目標跟蹤旨在跟蹤一段視頻中的目標的運動情況。通常，視頻第一幀中目標的位置會以包圍盒的形式給出，我們需要預測其他幀中該目標的包圍盒。目標跟蹤類似于目標檢測，但目標跟蹤的難點在于事先不知道要跟蹤的目標具體是什么，因此無法事先收集足夠的訓練數據以訓練一個專門的檢測器。
孿生網絡 類似于人臉驗證的思路，利用孿生網絡，一支輸入第一幀包圍盒內圖像，另一支輸入其他幀的候選圖像區域，輸出兩張圖的相似度。我們不需要遍歷其他幀的所有可能的候選區域，利用全卷積網絡，我們只需要前饋整張圖像一次。通過互相關操作(卷積)，得到二維的響應圖，其中最大響應位置確定了需要預測的包圍盒位置。基于孿生網絡的方法速度快，能處理任意大小的圖像。
CFNet 相關濾波通過訓練一個線性模板來區分圖像區域和它周圍區域，利用傅里葉變換，相關濾波有十分高效的實現。CFNet結合離線訓練的孿生網絡和在線更新的相關濾波模塊，提升輕量級網絡的跟蹤性能。
生成式模型(generative models)
這類模型旨在學得數據(圖像)的分布，或從該分布中采樣得到新的圖像。
展開 
214基于matlab的交互多模算法（IMM）機動目標跟蹤算法 ￥25.5
基于matlab的交互多模算法（IMM）機動目標跟蹤算法，完整的15頁文檔論文。根據二維空間內目標作勻速直線運動和勻速圓周運動的特點，在建立目標運動模型和觀測模型的基礎上采用基于交互多模算法（IMM）的卡爾曼濾波器對機動目標進行跟蹤。仿真結果表明，該算法不僅能夠對勻速直線運動和勻速圓周運動的目標進行跟蹤，而且在運動模型發生變化時，濾波誤差也比較小。程序已調通，可直接運行。
一文帶你了解機器人是如何通過視覺實現目標跟蹤的！
Abstract：視覺跟蹤技術是計算機視覺領域（人工智能分支）的一個重要課題，有著重要的研究意義。在軍事制導、視頻監控、機器人視覺導航、人機交互、以及醫療診斷等許多方面有著廣泛的應用前景。隨著研究人員不斷地深入研究，視覺目標跟蹤在近十幾年里有了突破性的進展，使得視覺跟蹤算法不僅僅局限于傳統的機器學習方法，更是結合了近些年人工智能熱潮—深度學習（神經網絡）和相關濾波器等方法。本文主要介紹以下幾點：什么是視覺目標跟蹤（單目標跟蹤）、單目標跟蹤的基本結構（框架），目標跟蹤存在的挑戰，目標跟蹤經典相關方法及研究趨勢等。
01 單目標跟蹤任務簡介
目標跟蹤是計算機視覺領域的一個重要問題，目前廣泛應用在體育賽事轉播、安防監控和無人機、無人車、機器人等領域。下面是一些應用的例子。
車輛跟蹤
足球比賽
田徑比賽
視覺目標（單目標）跟蹤是指對圖像序列中的運動目標進行檢測、提取、識別和跟蹤，獲得運動目標的運動參數，如位置、速度、加速度和運動軌跡等，從而進行下一步的處理與分析，實現對運動目標的行為理解，以完成更高一級的檢測任務。
其具體任務即根據所跟蹤的視頻序列給定初始幀（第一幀）的目標狀態（位置、尺度），預測后續幀中該目標狀態。
展開 2-12 基于CV模型卡爾曼濾波、CT模型卡爾曼濾波、IMM模型濾波的目標跟蹤 ￥15.9
基于CV模型卡爾曼濾波、CT模型卡爾曼濾波、IMM模型濾波的目標跟蹤。輸出跟蹤軌跡及其誤差。程序已調通，可直接運行。
運動視頻檢測—彩色跟蹤+軌跡顯示
運動視頻檢測—彩色跟蹤+軌跡顯示
本案例共享了MATLAB運動視頻檢測—彩色跟蹤+軌跡顯示，希望對大家有所幫助。
運動視頻檢測2——彩色跟蹤+軌跡顯示.zip
