配備攝像頭的無人機或通用無人機(UAVs)已迅速部署到廣泛的應用領域，如人群分析和公共安全的視頻監控，使得基于無人機平臺的人群密度自動估計、計數和跟蹤成為重要任務。基于無人機平臺進行人群檢測、跟蹤和計數面臨視角和尺度變化、背景復雜和小尺度等各種挑戰。天津大學機器學習與數據挖掘團隊為了促進基于無人機的視頻目標檢測、跟蹤和計數算法的發展，構建了一個新的大規模無人機視覺數據集（DroneCrowd），并設計了時空近鄰感知網絡(STNNet)，可在單模型中同時實現人群檢測、跟蹤和計數三個任務。

數據集-DroneCrowd

      團隊構建了一個新的無人機采集的大規模數據集（DroneCrowd），該數據集由不同場景下的112個包含3.36萬高清幀的視頻片段組成，并用480萬個head點和多個視頻級屬性注釋了20800人的軌跡。該數據集在尺度、視角和背景方面變化劇烈，包含三個視頻級屬性：光照、尺度、密度。

模型——STNNet

      團隊設計了空時鄰居感知網絡(STNNet)，解決了密集人群中目標的檢測、跟蹤和聯合計數問題。STNNet由特征提取模塊、密度圖估計、定位和關聯子網組成。

     1、特征提取模塊：首先利用雙分支cnn提取多尺度特征，然后計算連續兩幀提取特征之間的相關性來利用時間關系。

     2、密度圖估計模塊：通過估計視頻幀中物體的密度來進行人群計數。

     3、定位子網絡：由分類和回歸分支組成，在每一幀中輸出目標的精確位置。

     4、關聯子網絡：預測并進行跟蹤連續幀中目標的運動特征，充分利用時間一致性。

在擁擠的場景中，物體通常聚集在一個小區域，在連續的幀中通常共享相似的運動模式。為了利用相鄰對象的運動一致性，我們設計了一個近鄰信息損失來指導關聯子網生成精確的運動偏移量，它由時間預測約束和關系約束兩部分組成：時間預測約束強制候選目標在連續幀的預測運動偏移中接近；關系約束使目標與相鄰目標之間的關系向量逼近其相關聯的ground truth的關系向量。

實驗結果

數據集和代碼下載