文稿 | 鄭業(yè)

編輯 | 呂嘉玲

親愛的小伙伴們，好久不見，我又來了。在上一期我介紹了關(guān)于無人機探測與反制?的背景和現(xiàn)狀《微小型無人機，一把雙刃劍？》（點擊可直達回顧）。這一次我們來聚焦其中的一個關(guān)鍵問題，即如何使用視覺信息來探測無人機？

隨著深度學習算法在近些年得到了快速的發(fā)展，使用深度學習來探測無人機應該是蹦到我們腦子里的第一個想法。那是不是我們采集一些數(shù)據(jù)，然后訓練一下就解決問題了呢？用深度學習來探測無人機究竟靠譜嗎？有哪些困難和挑戰(zhàn)呢？這次我結(jié)合我們最新在IEEE Robotics and Automation Letters上發(fā)表的一篇論文[1]談一談我的看法，拋磚引玉。

01

現(xiàn)有的無人機數(shù)據(jù)集和檢測算法有哪些？

實際上現(xiàn)在已經(jīng)有一些公開的數(shù)據(jù)集了，但是，這些數(shù)據(jù)都或多或少的存在一些問題，沒有辦法直接用來做研究。 如圖1所示，F(xiàn)L-Drones中的無人機圖片都是灰度圖，缺少顏色信息； USCdrone中的圖片都是通過人站在地面上手持相機拍攝的，圖片中無人機的視角太過單一，另外，這個數(shù)據(jù)集中還存在著大量沒有標注的圖片，沒辦法直接使用； MIDGARD中的無人機尺寸都比較大，無人機的外觀、輪廓都很清晰，顯然拍攝的相機和無人機離得非常近，但是這樣就沒辦法研究遠距離時的探測問題了。

圖1：FL-Drones、USCdrone和MIDGARD數(shù)據(jù)集中的圖片

由于這些公開的數(shù)據(jù)集都存在一些問題，于是我們決定自己制作一個無人機數(shù)據(jù)集。我們先購買了兩架無人機（DJI M210和DJI Mavic2，見圖2）和一個相機（禪思XT2），然后將禪思XT2安裝到DJI M210上，在多種環(huán)境、姿態(tài)和光照強度下拍攝DJI Mavic2來制作無人機數(shù)據(jù)集，拍攝的方式見圖3。這個數(shù)據(jù)集里面的圖片一部分是從視頻中截取出來的，一部分是手動拍攝而來的。我們把這個數(shù)據(jù)集命名為Det-Fly，它的數(shù)據(jù)總量超過13000張圖片，并且每張圖片都是4K分辨率。

與那些公開的無人機數(shù)據(jù)集相比，Det-Fly擁有更大的數(shù)據(jù)規(guī)模、更豐富的環(huán)境信息、更多的視角以及光照強度，見圖4。這些特征使Det-Fly更加貼近實際的無人機探測場景，如果用它來評估無人機檢測算法，那么可以更加真實的反映出算法的性能。

圖4：Det-Fly數(shù)據(jù)集中的圖片

查閱了大量文獻后，我們發(fā)現(xiàn)目前專門針對無人機檢測的深度學習算法幾乎沒有，于是就選擇了通用的基于深度學習的目標檢測算法來研究無人機檢測這個問題，并挑選了8種性能比較好的基于深度學習的目標檢測算法。這些算法分別是Cascade R-CNN，F(xiàn)aster R-CNN，F(xiàn)PN，Grid R-CNN，RefineDet，RetinaNet，SSD512和YOLOv3。

02

深度學習算法檢測無人機的效果

有了數(shù)據(jù)和算法后，接下來就可以開展基于視覺信息的無人機檢測的研究了。首先，Det-Fly被分成了訓練集和測試集，然后分別對這8種算法做了訓練和測試。從測試的結(jié)果來看，基于視覺信息的無人機檢測確實是一個非常具有挑戰(zhàn)性的任務，目前這些主流算法的檢測成功率都在70%～80%之間。各算法在一些測試視頻上的表現(xiàn)見下面的視頻。

視頻：各算法在數(shù)據(jù)集上的測試結(jié)果

那么，影響無人機檢測的因素有哪些呢？其中的難點是什么呢？我們把目光聚焦在了觀測距離、觀測視角、背景環(huán)境以及挑戰(zhàn)性因素，并且在實驗中有了一些發(fā)現(xiàn): 1）隨著觀測距離的增大，無人機檢測的成功率呈現(xiàn)迅速下降的趨勢，見圖5; 2）在仰視、平視和俯視三個視角中，平視的檢測難度最大，仰視的檢測成功率最高，見圖6; 3）天空背景最容易檢測到無人機，而城市環(huán)境最困難，見圖7；4）在強/弱光、運動模糊和部分遮擋這三個挑戰(zhàn)性因素的測試中，部分遮擋對無人機檢測的影響最大，運動模糊的影響較小，見圖8。

 

03

小 結(jié)

基于視覺信息的無人機檢測是一個富有挑戰(zhàn)性的問題，即便是目前性能最好的一些深度學習算法仍然無法有效解決這個問題。主要原因在于無人機的尺寸非常?。ㄓ绕涫沁h距離時）缺乏足夠的判別特征，另外，復雜的背景也會對無人機檢測造成較大的干擾。

萬里長征只邁出了第一步，路漫漫其修遠兮，我們的研究還將繼續(xù)。

參考資料

[1] Y. Zheng, Z. Chen, D. Lv, Z. Li, Z. Lan and S. Zhao, "Air-to-Air Visual Detection of Micro-UAVs: An Experimental Evaluation of Deep Learning," in IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 1020-1027, April 2021.