車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!

來源 |  CV技術指南


在琳瑯滿目的視覺應用中,對車輛、行人、飛行器等快速移動的物體進行實時跟蹤及分析,可以說是突破安防、自動駕駛、智慧城市等炙手可熱行業的利器。

但要實現又快又準的持續跟蹤,往往面臨被檢目標多、相互遮擋、圖像扭曲變形、背景雜亂、視角差異大、目標小且運動速度快等產業難題。

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖1
視頻引用公開數據集[1][2][3][4]

那如何快速實現高性能的目標跟蹤任務, 并在移動端實現部署上線呢?今天給大家介紹的不僅僅是單獨的智能視覺算法,而是一整套多功能多場景的跟蹤系統—PP-Tracking。

它融合了目標檢測、行人重識別、軌跡融合等核心能力,并針對性的優化和解決上述實際業務的痛點難點,提供行人車輛跟蹤、跨鏡頭跟蹤、多類別跟蹤、小目標跟蹤及流量計數等能力與產業應用,還支持可視化界面開發,讓你快速上手、迅速落地。

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖2

趕緊Star? 獲得所有算法源碼!習得目標跟蹤“秘籍”吧。

項目鏈接 
https://github.com/PaddlePaddle/paddledetection

下面讓小編來帶大家來快速領略下這套目標跟蹤系統的大致結構、優勢兩點等。

1、功能豐富效果佳


PP-Tracking內置DeepSORT[6]、JDE[7]與FairMOT[8]三種主流高精度多目標 跟蹤模型,并針對產業痛點、結合實際落地場景進行一系列拓展和優化,覆蓋多類別跟蹤、跨鏡跟蹤、流量統計等功能與應用,可謂是精度、性能、功能豐富樣樣俱全。

單鏡頭跟蹤

單鏡頭下的單類別目標跟蹤是指在單個鏡頭下,對于同一種類別的多個目標進行連續跟蹤,是跟蹤任務的基礎。針對該任務,PP-Tracking基于端到端的One Shot高精模型FairMOT[8],替換為 更輕量的骨干網絡HRNetV2-W18 ,采用多種Tricks,如Sync_BN與EMA, 保持性能的同時大幅提高了精度,并且擴大訓練數據集,減小輸入尺寸 ,最終實現服務端輕量化模型在權威數據集MOT17上精度達到 MOTA 65.3 ,在NVIDIA Jetson NX上速度達到 23.3FPS ,GPU上速度可達到 60FPS !同時,針對對精度要求較高的場景,PP-Tracking還提供了精度高達MOTA75.3的高精版跟蹤模型~

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖3
視頻引用公開數據集[3]

多類別跟蹤

PP-Tracking不僅高性能地實現了單鏡頭下的單類別目標跟蹤,更針對多種不同類別的目標跟蹤場景, 增強了特征匹配模塊以適配不同類別的跟蹤任務, 實現跟蹤類別覆蓋 人、自行車、小轎車、卡車、公交、三輪車 等上十種目標,精準實現多種不同種類物體的同時跟蹤。

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖4
視頻引用公開數據集[2]

跨鏡頭跟蹤

安防場景常常會涉及在多個鏡頭下對于目標物體的持續跟蹤。當目標從一個鏡頭切換到另一個鏡頭,往往會出現目標跟丟的情況,這時,一個效果好速度快的跨鏡頭跟蹤算法就必不可少了!PP-Tracking中提供的跨鏡頭跟蹤能力基于DeepSORT[6]算法,采用了百度自研的輕量級模型PP-PicoDet和PP-LCNet分別作為檢測模型和ReID模型,配合軌跡融合算法,保持高性能的同時也兼顧了高準確度, 實現在多個鏡頭下緊跟目標,無論鏡頭如何切換、場景如何變換,也能準確跟蹤目標的效果。

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖5
視頻引用公開數據集[2]

流量監測

與此同時,針對智慧城市中的高頻場景— 人/車流量監測 ,PP-Tracking也提供了完整的解決方案,應用服務器端輕量級版FairMOT[8]模型預測得到目標軌跡與ID信息, 實現動態人流/車流的實時去重計數 ,并支持 自定義流量統計時間間隔 。

為了滿足不同業務場景下的需求,如商場進出口人流監測、高速路口車流量監測等,PP-Tracking更是提供了出入口兩側流量統計方式。

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖6
視頻引用公開數據集[2]

2、復雜場景覆蓋全


行人、車輛跟蹤

智慧交通中,行人和車輛的場景尤為廣泛,因此PP-Tracking針對 行人和車輛 ,提供對應的 預訓練模型 ,大幅降低開發成本,節省訓練時間和數據成本,實現 業務場景直接推理,算法即應用 的效果!不僅如此,PP-Tracking支持 顯示目標軌跡 ,更直觀地輔助實現高效的路徑規劃分析。

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖7
車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖8
視頻引用公開數據集[2]

人頭跟蹤

不僅如此,除了在日常跟蹤任務中擁有 極強的通用性 ,針對實際業務中常常出現 目標遮擋 嚴重等問題,PP-Tracking也進行了一系列優化,提供了基于FairMOT[8]訓練的 人頭跟蹤模型 ,并在 Head Tracking 2021數據集榜單位居榜首 ,助力PP-Tracking靈活適配各類行人場景。

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖9
視頻引用公開數據集[5]

小目標跟蹤

針對 小目標出現在大尺幅圖像 中的產業常見難題場景,PP-Tracking進行了一系列的優化,提供專門針對小目標跟蹤的預訓練模型,實現在特殊場景,如無人機等航拍場景下,也能達到較為精準的效果。

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖10
視頻引用公開數據集[2]

3、兩種使用模式,訓練推理靈活掌握


為了滿足不同的開發需求,PP-Tracking支持兩種使用方式,無論是想通過 代碼調用/訓練模型,進行快速推理部署 ,還是想要 零代碼直接上手使用功能 ,PP-Tracking通通滿足你!

API代碼調用: API簡潔易用,支持模型調用、訓練與推理部署,最大程度降低開發成本的前提下,靈活適配各類場景與任務。
車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖11

可視化開發界面: 支持單鏡頭下的單、多目標跟蹤,并覆蓋小目標、人/車流量統計等復雜場景及應用,無需任何開發,即可直接體驗功能,便于集成于各類硬件。

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖12

更貼心的是,PP-Tracking支持 Python、C++ 兩種部署語言,同時提供使用飛槳原生推理庫Paddle Inference和飛槳服務化推理框架Paddle Serving的保姆級部署教程, 真正意義上打通從訓練、推理到部署的全流程

4、產業場景快速融合


這么厲害的實時跟蹤系統在實際落地中的表現如何呢? 接下來,讓我們看看PP-Tracking的實際業務落地效果吧~

以人流量計數為例,在上海音智達公司的實際業務中,使用PP-Tracking中的服務端輕量化版FairMOT[8],結合人流量計數功能,快速實現商圈出入口的實時人流量去重計數。

車輛、行人跟蹤一網打盡,超輕量、多類別、小目標跟蹤系統開源了!的圖13
視頻引用公開數據集[3]

這套系統被應用于自動駕駛、安防、交通、城市等多種領域的目標跟蹤。

登錄后免費查看全文
立即登錄
App下載
技術鄰APP
工程師必備
  • 項目客服
  • 培訓客服
  • 平臺客服

TOP