目標跟蹤算法的案例
基于深度學習的多目標跟蹤算法原理
來源 |
人工智能感知信息處理算法研究院
基于深度學習的多目標跟蹤算法的主要任務是，優化檢測目標之間的相似性或距離度量的設計。根網絡學習到的特征的區別，可以將基于深度學習的多目標跟蹤算法分為基于深度表現特征的跟蹤網絡，基于相似性度量的跟蹤網絡以及基于高階匹配特征的跟蹤網絡如下圖所示。
將神經網絡學習到的目標的表觀特征引入到多目標跟蹤算法中，是提升多目標跟蹤算法效果的最簡單直接的辦法。其具體的操作方法有以下幾種：利用在圖像識別或行人重識別任務訓練得到的特征提取網絡，直接替換現有的多目標跟蹤算法框架中的表觀特征提取模塊；采用深度神經網絡學習光流運動特征，將光流網絡引入到算法中計算目標之間的運動相關性等。而通過深度學習提升多目標跟蹤算法更加直接的方法是學習檢測之間的特征相似性。譬如，設計深度網絡對不同目標之間的相似性進行度量，使得同一目標的相似距離小，不同目標的相似距離大，從而構造關于檢測距離的代價函數。也可以通過設計二分類代價，使相同目標的檢測特征匹配類型為 1，然不同目標的檢測特征匹配類型為 0，從而學習并輸出(0,1]之間的檢測匹配度。如果考慮已有軌跡與檢測之間的匹配，采用深度學習方法可以用于設計并計算軌跡之間的匹配相似度，這種方法可以認為是基于深度學習的高階特征匹配方法。使用深度學習計算高階特征匹配算法，可以學習多幀表現特征的高階匹配相似度，也可以學習運動特征的匹配相關度。下面將通過對基于孿生網絡的深度學習多目標跟蹤算法的詳細介紹，來說明基于深度學習的多目標跟蹤算法的詳細步驟。
基于對稱網絡的多目標跟蹤算法有很多種，而其中的一種便是采用 Siamese對稱卷積網絡，該算法以兩個尺寸相同的檢測圖像塊為輸入，輸出為兩個圖像塊是否屬于同一個目標的判別。
展開 深度學習|基于MobileNet的多目標跟蹤深度學習算法
雖然本文檢測算法在一定程度上犧牲了精度, 但實現了模型的小型化和速度上的提升.
3.2
多目標跟蹤算法對比實驗
在MOT基準數據庫提供的序列集上評估跟蹤性能, 以MOT Challenge標準對多目標跟蹤算法進行評價, 具體評價指標如表 2所示, 各指標含義如下:
表 2 評價指標對比
MOTA(↑): 多目標跟蹤準確度;
MOTP(↑): 多目標跟蹤精度;
MT(↑): 目標跟蹤軌跡占真實長度80 %以上的軌跡數目;
ML(↓): 目標跟蹤丟失軌跡占真實長度至多20 %的軌跡數目;
IDs(↓): 目標ID發生變化的次數;
FP(↓): 誤報總數;
FN(↓): 未命中目標的總數;
FPS(↑): 幀頻率.
對于帶有(↑)的評價指標, 分數越高表示效果越好; 對于帶有(↓)的評價指標, 結果相反.
由表 2可見: 本文算法的MOTP值與YOLOv3-Deep-SORT算法相差不大, 但均高于表中其他算法; 被跟蹤的軌跡比例(MT)相比YOLOv3-Deep-SORT算法有所上升, 跟丟軌跡占比(ML)有所下降, 均優于TC_ODAL和RMOT算法; ID變換次數低于表中前4個算法(即TC_ODAL、RMOT、SORT、MDP), 但相比YOLOv3-Deep-SORT算法有所上升; 幀頻率提高為該算法的3倍, 檢測跟蹤時間提高顯著. 本文算法雖然在跟蹤準確度、ID變換次數和誤報總數上不及YOLOv3-Deep-SORT算法, 但其他跟蹤指標均優于該算法, 并且本文算法相比于TC_ODAL、RMOT和SORT等算法優勢明顯. 為進一步表現本文算法的優越性, 以ID標號為3的目標為例, 給出如圖 4所示的部分跟蹤結果, 且跟蹤框上帶有數字ID標識.
展開 214基于matlab的交互多模算法（IMM）機動目標跟蹤算法 ￥25.5
基于matlab的交互多模算法（IMM）機動目標跟蹤算法，完整的15頁文檔論文。根據二維空間內目標作勻速直線運動和勻速圓周運動的特點，在建立目標運動模型和觀測模型的基礎上采用基于交互多模算法（IMM）的卡爾曼濾波器對機動目標進行跟蹤。仿真結果表明，該算法不僅能夠對勻速直線運動和勻速圓周運動的目標進行跟蹤，而且在運動模型發生變化時，濾波誤差也比較小。程序已調通，可直接運行。
一文帶你了解機器人是如何通過視覺實現目標跟蹤的！
目標跟蹤任務中的困難與挑戰
如上圖所示，目標跟蹤任務中的困難和挑戰包括：
1.形變，2.光照變化，3.相似干擾，4.運動模糊，5.背景干擾，6.遮擋，7.超出畫面，8.尺度變化，9.平面外宣傳，10.平面內旋轉，11.背景相似
04 目標跟蹤的數據庫
嚴謹的數據集是驅動算法的關鍵，前幾年目標跟蹤方向的數據庫資源相對匱乏，這也是目標跟蹤的發展相對落后于目標檢測的重要原因之一。下面簡要介紹了兩個權威的目標跟蹤方向的數據庫。
OTB50數據集
OTB可以說是做單目標跟蹤必跑的數據庫了，2013年的OTB50包含50個人工標注的視頻序列。由于在此之前目標跟蹤方向沒有比較公認的數據庫，所有的單跟蹤算法沒有一個統一的衡量，所以這個數據庫的意義非常重大，直接促進了單目標跟蹤算法的發展。后來又擴展為OTB100發送到TPAMI，有100個序列，難度更大更加權威。如果想要了解近年來比較厲害的跟蹤算法，可以參考吳毅老師的論文（附后）。
VOT數據庫
VOT Challenge是目標跟蹤領域的賽事，類似于圖形識別領域中的ImageNet挑戰賽。這些賽事通常都是標準數據集的來源，所以VOT數據集是一個常用的目標跟蹤數據集，所有序列支持免費下載。
展開 
一文熟悉視頻目標跟蹤
來源 |
人工智能感知信息處理算法研究院
研究背景介紹
近年來，隨著大數據、云計算、人工智能等領域日新月異的發展及交互融合，智慧電商、智慧交通、智慧城市等概念越發受到關注。隨著人們對更智能、更便捷、更高質量生活的向往，同時伴隨著重大的學術價值和廣闊的商業前景，眾多高校、科研機構、政府部門均對相關產業投入了大量的人力、物力和財力。人工智能，被喻為新時代工業革命的引擎，正在悄然滲入到各行各業并改變著我們的生活方式。計算機視覺是人工智能領域的重要分支，旨在研宄如何讓計算機像人類視覺系統一樣智能地感知、分析、處理現實世界。以圖像和視頻為信息載體的各項計算機視覺算法，早己滲透到大眾的日常生活中，如人臉識別、人機交互、商品檢索、智能監控、視覺導航等。視頻目標跟蹤技術，作為計算機視覺領域中基礎的、重要的研宄方向之一，一直是研宄人員的關注熱點。
視頻目標跟蹤要求在已知第一幀感興趣物體的位置和尺度信息的情況下，對該目標在后續視頻幀中進行持續的定位和尺度估計Ｗ。廣義的目標跟蹤通常包含單目標跟蹤和多目標跟蹤。兩者既有差別又有緊密的聯系。多目標跟蹤算法主要包括目標檢測和軌跡關聯，以確保同一個物體在視頻中獲得固定的、唯一的數字標識。多目標跟蹤通常限定在目標類別已知的場景中，如多行人、多車輛的視覺跟蹤。因此，多目標跟蹤算法高度依賴現成的目標檢測器。物體檢測的質量直接關系到后續的多目標軌跡關聯。不同地，單目標跟蹤算法要求處理任意類別的物體，即不知道任何關于目標的先驗信息。雖然前提條件略有差異，但正如其名，單目標跟蹤與多目標跟蹤都緊緊圍繞著視頻中的物體識別與跟蹤，因而在外觀建模、運動分析、軌跡關聯等技術細節上有緊密的關聯。如何將單目標跟蹤技術應用于多目標跟蹤領域也被廣泛研宄。
展開 17基于matlab卡爾曼濾波的行人跟蹤算法，并給出算法估計誤差結果，判斷算法的跟蹤精確性 ￥20
基于matlab卡爾曼濾波的行人跟蹤算法，并給出算法估計誤差結果，判斷算法的跟蹤精確性，程序已調通，可直接運行，基于MATLAB平臺，可直接拍下。
17基于matlab卡爾曼濾波的行人跟蹤算法，并給出算法估計誤差結果，判斷算法的跟蹤精確性 ￥20
基于matlab卡爾曼濾波的行人跟蹤算法，并給出算法估計誤差結果，判斷算法的跟蹤精確性，程序已調通，可直接運行，基于MATLAB平臺，可直接拍下。
基于深度學習的機器人目標識別和跟蹤
比如說機器人的目標識別方面：機器人在對物體進行識別時，大目標通常都能正常檢測出來，但是對于小目標受限于目標大小和周圍環境影響等等會出現漏檢等情況。在目標跟蹤方面
專門應用于目標跟蹤任務的訓練集較少，無法適應當前多變的跟蹤環境，完成訓練任務。
當前的訓練模型受限于目標的遮擋、外觀的強烈變化等等問題，使得算法無法實現長時間的精確跟蹤。除此以外跟蹤時，由于受到外界因素影響，可能會有一些相似對象，從而使得跟蹤出現錯誤。
但是我相信經過人們對于機器視覺領域的不斷研究，未來會有越來越多的基于深度學習的方法去優化目標跟蹤任務中出現的一系列情況，比如說采用大規模視頻數據的數據集進行離線訓練等等，在目標識別領域未來也將會降低環境對檢測的影響能更加精準的檢測各種大小的目標，并且最終將兩種技術更好的結合在一起應用到機器人技術應用的各個方面。
來源：www.chinaai.org.cn 關注微信公眾號人工智能技術與咨詢了解更多！
展開 車輛、行人跟蹤一網打盡，超輕量、多類別、小目標跟蹤系統開源了！
同時，針對對精度要求較高的場景，PP-Tracking還提供了精度高達MOTA75.3的高精版跟蹤模型~
視頻引用公開數據集[3]
多類別跟蹤
PP-Tracking不僅高性能地實現了單鏡頭下的單類別目標跟蹤，更針對多種不同類別的目標跟蹤場景，
增強了特征匹配模塊以適配不同類別的跟蹤任務，
實現跟蹤類別覆蓋
人、自行車、小轎車、卡車、公交、三輪車
等上十種目標，精準實現多種不同種類物體的同時跟蹤。
視頻引用公開數據集[2]
跨鏡頭跟蹤
安防場景常常會涉及在多個鏡頭下對于目標物體的持續跟蹤。當目標從一個鏡頭切換到另一個鏡頭，往往會出現目標跟丟的情況，這時，一個效果好速度快的跨鏡頭跟蹤算法就必不可少了！PP-Tracking中提供的跨鏡頭跟蹤能力基于DeepSORT[6]算法，采用了百度自研的輕量級模型PP-PicoDet和PP-LCNet分別作為檢測模型和ReID模型，配合軌跡融合算法，保持高性能的同時也兼顧了高準確度，
實現在多個鏡頭下緊跟目標，無論鏡頭如何切換、場景如何變換，也能準確跟蹤目標的效果。
展開 多特征融合的多目標跟蹤網絡
來源 |
人工智能感知信息處理算法研究院
受到閾值分割方法的啟發，在早期圖像分割常用傳統的閾值分割方法結合具體的使用場景手動設計特征并調參進行場景分割，基于閾值的二值分割的算法得到廣泛應用。楊等人基于直方圖提出了一種改進的閾值分割方法并將其應用在足球機器人上。王等人利用閾值提取邊緣并基于邊緣信息對圖像進行分割。趙等人利用 Otsu閾值及炭疽孢子的連通特性及形狀特征實現對炭疽孢子的分割。林等人基于閾值分割方法在 YUV 空間實現了番茄分割識別。這一系列基于傳統圖像處理技術的分割方法有著較大的局限性，適用的分割場景也較為簡單，容易受到光照環境變化干擾，泛化能力不足。因此閾值分割算法逐漸被基于聚類的方法取代。
Tao 等人結合 Mean-shift和 Ncut 方法，減少了計算量和噪聲的干擾，使分割速度大幅提升。雷等人使用 Mean-shift 算法同時結合深度信息實現了復雜度較高的場景分割。以上基于聚類的無監督方法可以獲得一定的場景泛化能力來應對光線變化，但僅使用二維圖像對復雜場景分割的精度依舊有限且難以進行場景感知，亦存在較多局限性。
針對室內場景目標多種多樣，各目標之間差異較大，比如有靠椅、有凳子等，傳統圖像算法難以完整的分割出目標，且難以獲得類別標簽等更多的信息。近年來，隨著GPU 算力的增長以及數據集的完善，基于深度學習的語義分割算法飛速發展，圖像分割技術水平大幅提高，可以實現圖像像素級分類，目標分割完整度得到大大提升，進而分割精度得到大大提升Long等人于 2014 年提出了全卷積網絡（Fully Convolutional Network，FCN）進行語義分割，該網絡實現了端到端的逐像素分類，是深度學習語義分割方法的基石。
展開 216 基于matlab的機動目標跟蹤濾波方法 ￥25.5
基于matlab的機動目標跟蹤濾波方法，勻加速模型（CA）、多模型有交互式多模型（IMM）、擴展卡爾曼濾波（EKF）、不敏卡爾曼濾波（UKF）進行跟蹤濾波。程序已調通，可直接運行。
187基于matlab的彈道目標跟蹤濾波方法 ￥19.89
基于matlab的彈道目標跟蹤濾波方法，擴展卡爾曼濾波（extended Kalman filter, EKF）、轉換測量卡爾曼濾波（conversion measurement Kalman filter, CMKF）跟蹤濾波，得到距離、方位角、俯仰角誤差結果。程序已調通，可直接運行。
205基于matlab的關于多目標跟蹤的的濾波程序 ￥15.9
基于matlab的關于多目標跟蹤的的濾波程序，包括采用聯合概率數據互聯（JPDA）算法實現兩個個勻速運動目標的點跡與航跡的關聯，輸出兩個目標跟蹤的觀測位置、估計位置以及估計誤差。程序已調通，可直接運行。
計算機視覺必讀：目標跟蹤、網絡壓縮、圖像分類、人臉識別等
目標跟蹤(object tracking)
目標跟蹤旨在跟蹤一段視頻中的目標的運動情況。通常，視頻第一幀中目標的位置會以包圍盒的形式給出，我們需要預測其他幀中該目標的包圍盒。目標跟蹤類似于目標檢測，但目標跟蹤的難點在于事先不知道要跟蹤的目標具體是什么，因此無法事先收集足夠的訓練數據以訓練一個專門的檢測器。
孿生網絡 類似于人臉驗證的思路，利用孿生網絡，一支輸入第一幀包圍盒內圖像，另一支輸入其他幀的候選圖像區域，輸出兩張圖的相似度。我們不需要遍歷其他幀的所有可能的候選區域，利用全卷積網絡，我們只需要前饋整張圖像一次。通過互相關操作(卷積)，得到二維的響應圖，其中最大響應位置確定了需要預測的包圍盒位置。基于孿生網絡的方法速度快，能處理任意大小的圖像。
CFNet 相關濾波通過訓練一個線性模板來區分圖像區域和它周圍區域，利用傅里葉變換，相關濾波有十分高效的實現。CFNet結合離線訓練的孿生網絡和在線更新的相關濾波模塊，提升輕量級網絡的跟蹤性能。
生成式模型(generative models)
這類模型旨在學得數據(圖像)的分布，或從該分布中采樣得到新的圖像。
展開 215 基于matlab的快速跟蹤算法 ￥15.9
基于matlab的快速跟蹤算法，提出一種簡單又快速、 魯棒性的算法，基于貝葉斯框架下，該模型 （即圖像強度和從目標位置） 的低級功能及周邊地區的統計相關性的時空關系。跟蹤問題是通過計算信心地圖，并將以最大限度地對象位置似然函數取得最佳的目標位置。程序已調通，可直接運行。
