目標跟蹤的案例
車輛、行人跟蹤一網打盡，超輕量、多類別、小目標跟蹤系統開源了！
同時，針對對精度要求較高的場景，PP-Tracking還提供了精度高達MOTA75.3的高精版跟蹤模型~
視頻引用公開數據集[3]
多類別跟蹤
PP-Tracking不僅高性能地實現了單鏡頭下的單類別目標跟蹤，更針對多種不同類別的目標跟蹤場景，
增強了特征匹配模塊以適配不同類別的跟蹤任務，
實現跟蹤類別覆蓋
人、自行車、小轎車、卡車、公交、三輪車
等上十種目標，精準實現多種不同種類物體的同時跟蹤。
視頻引用公開數據集[2]
跨鏡頭跟蹤
安防場景常常會涉及在多個鏡頭下對于目標物體的持續跟蹤。當目標從一個鏡頭切換到另一個鏡頭，往往會出現目標跟丟的情況，這時，一個效果好速度快的跨鏡頭跟蹤算法就必不可少了！PP-Tracking中提供的跨鏡頭跟蹤能力基于DeepSORT[6]算法，采用了百度自研的輕量級模型PP-PicoDet和PP-LCNet分別作為檢測模型和ReID模型，配合軌跡融合算法，保持高性能的同時也兼顧了高準確度，
實現在多個鏡頭下緊跟目標，無論鏡頭如何切換、場景如何變換，也能準確跟蹤目標的效果。
展開 一文熟悉視頻目標跟蹤
視頻目標跟蹤技術，作為計算機視覺領域中基礎的、重要的研宄方向之一，一直是研宄人員的關注熱點。
視頻目標跟蹤要求在已知第一幀感興趣物體的位置和尺度信息的情況下，對該目標在后續視頻幀中進行持續的定位和尺度估計Ｗ。廣義的目標跟蹤通常包含單目標跟蹤和多目標跟蹤。兩者既有差別又有緊密的聯系。多目標跟蹤算法主要包括目標檢測和軌跡關聯，以確保同一個物體在視頻中獲得固定的、唯一的數字標識。多目標跟蹤通常限定在目標類別已知的場景中，如多行人、多車輛的視覺跟蹤。因此，多目標跟蹤算法高度依賴現成的目標檢測器。物體檢測的質量直接關系到后續的多目標軌跡關聯。不同地，單目標跟蹤算法要求處理任意類別的物體，即不知道任何關于目標的先驗信息。雖然前提條件略有差異，但正如其名，單目標跟蹤與多目標跟蹤都緊緊圍繞著視頻中的物體識別與跟蹤，因而在外觀建模、運動分析、軌跡關聯等技術細節上有緊密的關聯。如何將單目標跟蹤技術應用于多目標跟蹤領域也被廣泛研宄。因此，研究經典的、通用的單目標跟蹤任務對于整個跟蹤領域的發展有重要意義
隨著計算機運算性能的突飛猛進、高性能攝像終端的廣泛普及、以及視頻分析需求的與日俱增，目標跟蹤算法應用范圍愈發廣泛，落地需求愈加強烈。實現一個可以精準地、穩健地、快速地執行目標定位的高效視覺跟蹤系統是目前不懈努力的技術方向＝近年來，在國內外大量學者的努力研宄下，該方向已經取得了突飛猛進的進展，但同時仍存在許多亟需解決的問題，例如如何應對跟蹤過程中目標的形變、模糊、旋轉、遮擋、超出視野等。隨著深度模型如卷積神經網絡
（Convolutional Neural Network，CNN）
等的應用，以及GPU設備帶來的計算效率的巨大躍升，目標跟蹤技術受益于更魯棒的特征表達以及端到端的模型訓練，已經在速度和精度方面漸漸接近了人們在實際生活中的應用需求。
展開 基于深度學習的多目標跟蹤算法原理
來源 |
人工智能感知信息處理算法研究院
基于深度學習的多目標跟蹤算法的主要任務是，優化檢測目標之間的相似性或距離度量的設計。根網絡學習到的特征的區別，可以將基于深度學習的多目標跟蹤算法分為基于深度表現特征的跟蹤網絡，基于相似性度量的跟蹤網絡以及基于高階匹配特征的跟蹤網絡如下圖所示。
將神經網絡學習到的目標的表觀特征引入到多目標跟蹤算法中，是提升多目標跟蹤算法效果的最簡單直接的辦法。其具體的操作方法有以下幾種：利用在圖像識別或行人重識別任務訓練得到的特征提取網絡，直接替換現有的多目標跟蹤算法框架中的表觀特征提取模塊；采用深度神經網絡學習光流運動特征，將光流網絡引入到算法中計算目標之間的運動相關性等。而通過深度學習提升多目標跟蹤算法更加直接的方法是學習檢測之間的特征相似性。譬如，設計深度網絡對不同目標之間的相似性進行度量，使得同一目標的相似距離小，不同目標的相似距離大，從而構造關于檢測距離的代價函數。也可以通過設計二分類代價，使相同目標的檢測特征匹配類型為 1，然不同目標的檢測特征匹配類型為 0，從而學習并輸出(0,1]之間的檢測匹配度。如果考慮已有軌跡與檢測之間的匹配，采用深度學習方法可以用于設計并計算軌跡之間的匹配相似度，這種方法可以認為是基于深度學習的高階特征匹配方法。使用深度學習計算高階特征匹配算法，可以學習多幀表現特征的高階匹配相似度，也可以學習運動特征的匹配相關度。下面將通過對基于孿生網絡的深度學習多目標跟蹤算法的詳細介紹，來說明基于深度學習的多目標跟蹤算法的詳細步驟。
基于對稱網絡的多目標跟蹤算法有很多種，而其中的一種便是采用 Siamese對稱卷積網絡，該算法以兩個尺寸相同的檢測圖像塊為輸入，輸出為兩個圖像塊是否屬于同一個目標的判別。
展開 深度學習|基于MobileNet的多目標跟蹤深度學習算法
源自：控制與決策 作者：薛俊韜 馬若寒 胡超芳
摘要
針對深度學習算法在多目標跟蹤中的實時性問題, 提出一種基于MobileNet的多目標跟蹤算法. 借助于MobileNet深度可分離卷積能夠對深度網絡模型進行壓縮的原理, 將YOLOv3主干網絡替換為MobileNet, 通過將標準卷積分解為深度卷積和逐點卷積, 保留多尺度預測部分, 以有效減少參數量. 對于檢測得到的邊框信息, 利用Deep-SORT算法進行跟蹤. 實驗結果表明, 所提出方法在跟蹤效果基本不變的情況下可提升處理速度近50%.
關鍵詞
深度學習 多目標跟蹤 目標檢測 YOLOv3 deep-SORT MobileNet
0 引言
多目標跟蹤是計算機視覺領域的研究熱點, 可應用于交通監測、安防等多個領域, 具有一定的應用價值和挑戰性[1]. 檢測方式可以分為檢測跟蹤和無檢測跟蹤兩類, 前者需要檢測目標后再進行跟蹤; 后者需要在第1幀手動初始化目標, 然后進行跟蹤. 在目標跟蹤中, 涌現出許多具有良好性能的算法, 如SSD[2]、R-CNN[3-4]以及YOLO系列[5-7], 其中YOLOv3[7]算法在檢測跟蹤中體現出較強的優勢.
由于深度學習的發展, 卷積神經網絡模型逐漸替代了傳統手工設計的特征, 提供了一種端到端的處理方法, 精度也大幅提高. 但CNN模型在不斷提高精度的同時, 其網絡深度和尺寸也在成倍增長, 需要GPU來進行加速, 使得基于深度學習的跟蹤算法無法直接應用于移動設備, 導致難以符合實時性要求. 因此降低算法復雜度、提高實時性、簡化和加速模型便成為亟待解決的問題. 文獻[8-10]使用剪枝方法對神經網絡進行網絡壓縮. 文獻[11]提出從零開始訓練低秩約束卷積神經網絡模型的方法, 不僅速度得到提升, 而且在一些情況下模型性能也有所提高.
展開 
一文帶你了解機器人是如何通過視覺實現目標跟蹤的！
Abstract：視覺跟蹤技術是計算機視覺領域（人工智能分支）的一個重要課題，有著重要的研究意義。在軍事制導、視頻監控、機器人視覺導航、人機交互、以及醫療診斷等許多方面有著廣泛的應用前景。隨著研究人員不斷地深入研究，視覺目標跟蹤在近十幾年里有了突破性的進展，使得視覺跟蹤算法不僅僅局限于傳統的機器學習方法，更是結合了近些年人工智能熱潮—深度學習（神經網絡）和相關濾波器等方法。本文主要介紹以下幾點：什么是視覺目標跟蹤（單目標跟蹤）、單目標跟蹤的基本結構（框架），目標跟蹤存在的挑戰，目標跟蹤經典相關方法及研究趨勢等。
01 單目標跟蹤任務簡介
目標跟蹤是計算機視覺領域的一個重要問題，目前廣泛應用在體育賽事轉播、安防監控和無人機、無人車、機器人等領域。下面是一些應用的例子。
車輛跟蹤
足球比賽
田徑比賽
視覺目標（單目標）跟蹤是指對圖像序列中的運動目標進行檢測、提取、識別和跟蹤，獲得運動目標的運動參數，如位置、速度、加速度和運動軌跡等，從而進行下一步的處理與分析，實現對運動目標的行為理解，以完成更高一級的檢測任務。
其具體任務即根據所跟蹤的視頻序列給定初始幀（第一幀）的目標狀態（位置、尺度），預測后續幀中該目標狀態。
展開 基于深度學習的機器人目標識別和跟蹤
在目標跟蹤方面
專門應用于目標跟蹤任務的訓練集較少，無法適應當前多變的跟蹤環境，完成訓練任務。
當前的訓練模型受限于目標的遮擋、外觀的強烈變化等等問題，使得算法無法實現長時間的精確跟蹤。除此以外跟蹤時，由于受到外界因素影響，可能會有一些相似對象，從而使得跟蹤出現錯誤。
但是我相信經過人們對于機器視覺領域的不斷研究，未來會有越來越多的基于深度學習的方法去優化目標跟蹤任務中出現的一系列情況，比如說采用大規模視頻數據的數據集進行離線訓練等等，在目標識別領域未來也將會降低環境對檢測的影響能更加精準的檢測各種大小的目標，并且最終將兩種技術更好的結合在一起應用到機器人技術應用的各個方面。
來源：www.chinaai.org.cn 關注微信公眾號人工智能技術與咨詢了解更多！
展開 205基于matlab的關于多目標跟蹤的的濾波程序 ￥15.9
基于matlab的關于多目標跟蹤的的濾波程序，包括采用聯合概率數據互聯（JPDA）算法實現兩個個勻速運動目標的點跡與航跡的關聯，輸出兩個目標跟蹤的觀測位置、估計位置以及估計誤差。程序已調通，可直接運行。
214基于matlab的交互多模算法（IMM）機動目標跟蹤算法 ￥25.5
基于matlab的交互多模算法（IMM）機動目標跟蹤算法，完整的15頁文檔論文。根據二維空間內目標作勻速直線運動和勻速圓周運動的特點，在建立目標運動模型和觀測模型的基礎上采用基于交互多模算法（IMM）的卡爾曼濾波器對機動目標進行跟蹤。仿真結果表明，該算法不僅能夠對勻速直線運動和勻速圓周運動的目標進行跟蹤，而且在運動模型發生變化時，濾波誤差也比較小。程序已調通，可直接運行。
216 基于matlab的機動目標跟蹤濾波方法 ￥25.5
基于matlab的機動目標跟蹤濾波方法，勻加速模型（CA）、多模型有交互式多模型（IMM）、擴展卡爾曼濾波（EKF）、不敏卡爾曼濾波（UKF）進行跟蹤濾波。程序已調通，可直接運行。
187基于matlab的彈道目標跟蹤濾波方法 ￥19.89
基于matlab的彈道目標跟蹤濾波方法，擴展卡爾曼濾波（extended Kalman filter, EKF）、轉換測量卡爾曼濾波（conversion measurement Kalman filter, CMKF）跟蹤濾波，得到距離、方位角、俯仰角誤差結果。程序已調通，可直接運行。
計算機視覺必讀：目標跟蹤、網絡壓縮、圖像分類、人臉識別等
目標跟蹤(object tracking)
目標跟蹤旨在跟蹤一段視頻中的目標的運動情況。通常，視頻第一幀中目標的位置會以包圍盒的形式給出，我們需要預測其他幀中該目標的包圍盒。目標跟蹤類似于目標檢測，但目標跟蹤的難點在于事先不知道要跟蹤的目標具體是什么，因此無法事先收集足夠的訓練數據以訓練一個專門的檢測器。
孿生網絡 類似于人臉驗證的思路，利用孿生網絡，一支輸入第一幀包圍盒內圖像，另一支輸入其他幀的候選圖像區域，輸出兩張圖的相似度。我們不需要遍歷其他幀的所有可能的候選區域，利用全卷積網絡，我們只需要前饋整張圖像一次。通過互相關操作(卷積)，得到二維的響應圖，其中最大響應位置確定了需要預測的包圍盒位置。基于孿生網絡的方法速度快，能處理任意大小的圖像。
CFNet 相關濾波通過訓練一個線性模板來區分圖像區域和它周圍區域，利用傅里葉變換，相關濾波有十分高效的實現。CFNet結合離線訓練的孿生網絡和在線更新的相關濾波模塊，提升輕量級網絡的跟蹤性能。
生成式模型(generative models)
這類模型旨在學得數據(圖像)的分布，或從該分布中采樣得到新的圖像。
展開 
2-12 基于CV模型卡爾曼濾波、CT模型卡爾曼濾波、IMM模型濾波的目標跟蹤 ￥15.9
基于CV模型卡爾曼濾波、CT模型卡爾曼濾波、IMM模型濾波的目標跟蹤。輸出跟蹤軌跡及其誤差。程序已調通，可直接運行。
多特征融合的多目標跟蹤網絡
針對室內場景目標多種多樣，各目標之間差異較大，比如有靠椅、有凳子等，傳統圖像算法難以完整的分割出目標，且難以獲得類別標簽等更多的信息。近年來，隨著GPU 算力的增長以及數據集的完善，基于深度學習的語義分割算法飛速發展，圖像分割技術水平大幅提高，可以實現圖像像素級分類，目標分割完整度得到大大提升，進而分割精度得到大大提升Long等人于 2014 年提出了全卷積網絡（Fully Convolutional Network，FCN）進行語義分割，該網絡實現了端到端的逐像素分類，是深度學習語義分割方法的基石。該算法以 VGG-16 網絡為主干網絡，去除了網絡后的全連接層（Fully Connected Layer，FC）。由于 VGG-16 中只有全連接層要求輸入尺寸為固定大小，去除全連接層后，輸入網絡的圖像尺寸便可以是動態大小，去除了固定輸入尺寸的限制。同時 FCN 根據不同的下采樣倍率，將下采樣時得到的特征圖與上采樣進行轉置卷積計算時的特征圖進行融合得到了精細的像素級分割結果，為后續語義分割網絡設計奠定了基礎框架。所以后續分割算法大都以其為基礎進行改進。SegNet在解碼器部分使用上池化操作進行上采樣保留了高頻細節的完整性，實現了更精細的分割。之后的Unet在編解碼器間加入了若干跳躍連接，融合了編解碼器不同層次的特征，減小了信息丟失來提升精度，由于 Unet 設計了簡單高效的特征融合方式，在醫學圖像上作細胞分割效果較好，之后醫學圖像分割領域出現了很多基于 Unet 改進的分割網絡。2014年，Chen 等人在FCN 的特征提取網絡輸出端添加了條件隨機（Conditional Random Fields，CRF）模塊，進而提出了 Deeplab 方法，顯著提高了分割的精度。
展開 無人水面艇感知技術發展綜述
Fefilatyev等[26]提出了一種在公海視頻中自動檢測和跟蹤海上船只的技術，基于單個視頻幀進行海上船只檢測，并借助跟蹤算法通過視頻序列跟蹤檢測目標，通過濾除未顯示視頻序列中各幀之間檢測一致的噪聲，提高了檢測及跟蹤的精度，圖9展示了該系統的目標跟蹤效果。Wolf等[27]介紹了一種USV的感知和規劃系統，其目標是檢測和跟蹤中至遠距離的船只，但目前無法實現多種類型目標的檢測和跟蹤。Shin[28]針對大浪、水面有霧等惡劣條件下目標跟蹤問題，根據試驗得到該系統目標檢測和跟蹤的距離最遠為500 m。蕭正莫等[29]通過集成單目攝像機與GPS和IMU數據信息，將測距能力提高500～1 000 m。
圖9 環境影響下時間軸上目標跟蹤情況[26]
Fig.9 Target tracking on the timeline under environmental influence[26]
近年來，國內也有一些學者基于實際出發，將研發系統搭載在無人艇上進行動態目標跟蹤。張磊等[30]提出了一種基于GNC框架的三體船，能夠自主探測周圍環境，并對具有一定特征的動態目標進行跟蹤航行。曾文靜[31]針對海面目標跟蹤，將均值漂移算法和卡爾曼濾波結合，以在一定程度上實現目標尺度的自適應跟蹤。時俊楠[32]考慮目標位置和尺度的實時變化，采用聯合估計的fDSST(fast discriminative scale space tracker)跟蹤算法，結合姿態變化信息進行目標跟蹤。
為實現遠距離目標實時檢測并跟蹤，多傳感器信息融合是目前的研究熱點，也是未來一段時間的發展趨勢，能夠有效提升USV的目標跟蹤性能。但目前尚未提出能夠實現真正的信息融合并且能夠對目標進行長時間的準確檢測跟蹤。
3 實時定位
為更好實現USV在自主執行任務中不出問題，精準的導航及自定位也至關重要。
展開 一文讀懂深度學習在計算機視覺領域中的應用
簡單來說，給出目標在跟蹤視頻第一幀中的初始狀態（如位置、尺寸），自動估計目標物體在后續幀中的狀態。該技術對自動駕駛汽車等領域顯得至關重要。
根據觀察模型，目標跟蹤可以分為兩類：產生式(generative method)和判別式(discriminative method)。其中，產生式方法主要運用生成模型描述目標的表觀特征，之后通過搜索候選目標來最小化重構誤差。常用的算法有稀疏編碼(sparse coding)、主成分分析（PCA）等。與之相對的，判別式方法通過訓練分類器來區分目標和背景，其性能更為穩定，逐漸成為目標跟蹤這一領域的主要研究方法。常用的算法有堆棧自動編碼器(SAE)、卷積神經網絡(CNN)等。
使用SAE方法進行目標跟蹤的最經典深層網絡是Deep Learning Tracker（DLT），提出了離線預訓練和在線微調。該方法的主要步驟如下：
1).先使用棧式自動編碼器（SDAE）在大規模自然圖像數據集上進行無監督離線預訓練來獲得通用的物體表征能力。
2).將預訓練網絡的編碼部分與分類器相結合組成分類網絡，然后利用從初始幀獲得的正、負樣本對網絡進行微調，使其可以區分當前對象和背景。在跟蹤過程中，選擇分類網絡輸出得分最大的patch作為最終預測目標。
3).模型更新策略采用限定閾值的方法。
基于CNN完成目標跟蹤的典型算法是FCNT和MD Net。
FCNT的亮點之一在于對ImageNet上預訓練得到的CNN特征在目標跟蹤任務上的性能做了深入的分析：
1).CNN的特征圖可以用來做跟蹤目標的定位；
2).CNN的許多特征圖存在噪聲或者和物體跟蹤區分目標和背景的任務關聯較小；
3).CNN不同層提取的特征不一樣。
展開 