深度學習算法檢測無人機的案例
深度學習算法檢測無人機靠譜嗎？
圖1：FL-Drones、USCdrone和MIDGARD數據集中的圖片
由于這些公開的數據集都存在一些問題，于是我們決定自己制作一個無人機數據集。我們先購買了兩架無人機（DJI M210和DJI Mavic2，見圖2）和一個相機（禪思XT2），然后將禪思XT2安裝到DJI M210上，在多種環境、姿態和光照強度下拍攝DJI Mavic2來制作無人機數據集，拍攝的方式見圖3。這個數據集里面的圖片一部分是從視頻中截取出來的，一部分是手動拍攝而來的。我們把這個數據集命名為Det-Fly，它的數據總量超過13000張圖片，并且每張圖片都是4K分辨率。
與那些公開的無人機數據集相比，Det-Fly擁有更大的數據規模、更豐富的環境信息、更多的視角以及光照強度，見圖4。這些特征使Det-Fly更加貼近實際的無人機探測場景，如果用它來評估無人機檢測算法，那么可以更加真實的反映出算法的性能。
圖4：Det-Fly數據集中的圖片
查閱了大量文獻后，我們發現目前專門針對無人機檢測的深度學習算法幾乎沒有，于是就選擇了通用的基于深度學習的目標檢測算法來研究無人機檢測這個問題，并挑選了8種性能比較好的基于深度學習的目標檢測算法。這些算法分別是Cascade R-CNN，Faster R-CNN，FPN，Grid R-CNN，RefineDet，RetinaNet，SSD512和YOLOv3。
02
深度學習算法檢測無人機的效果
有了數據和算法后，接下來就可以開展基于視覺信息的無人機檢測的研究了。
展開 基于深度學習的無人機航拍目標檢測研究綜述
江波，屈若錕*，李彥冬，李誠龍
中國民用航空飛行學院，廣漢 618307
摘 要：目標檢測是提高無人機(UAV)感知能力的關鍵技術之一，其研究對于無人機的應用有著重要意義。與基于手工特征的傳統方法相比，基于卷積神經網絡的深度學習方法具有強大的特征學習和表達能力，成為目前目標檢測任務的主流算法。近年來，目標檢測技術已經在自然場景圖像上取得了一系列突破性進展，在無人機領域的研究也逐漸成為熱點。首先系統闡述了基于深度學習的目標檢測算法的研究進展，并總結了相關算法的優缺點。對常見的航空影像數據集進行了梳理并介紹了遷移學習的方法；從無人機影像背景復雜、目標較小、視場大、目標具有旋轉性的特點出發，對無人機目標檢測在近期的研究進行了歸納和分析。最后討論了存在的問題和未來可能的發展方向。
關鍵詞：目標檢測；無人機影像；卷積神經網絡；計算機視覺；深度學習；遷移學習
無人機具有成本低、靈活性高、操作簡單、體積小等優點，可以彌補衛星和載人航空遙感技術的不足，催生了更加多元化的應用場景。無人機影像的智能化分析處理不僅可以快速高效地提取地物信息，還能拓展無人機的場景理解能力。目標檢測技術能夠自動化識別和定位圖像中目標，這種技術可以增強弱人機交互下無人機的感知功能[1]，為其自主探測和飛行提供基礎的技術支持。
無人機航拍由于成像視角不同于自然場景圖像，一般有以下特點：
1) 背景復雜。無人機的拍攝視角和更大的幅寬可以獲取到更豐富的地物信息，但這種無法突顯目標的拍攝方式也給檢測任務帶來了噪聲干擾。同時，由于無人機的飛行高度相對較低，空域環境較為復雜，因此遮擋現象在無人機航拍影像中較為常見，導致無人機對目標的觀測往往具有不連續性和不完整性。
2) 小目標。無人機圖像中的目標尺度變化大，且小目標的比例遠高于自然場景圖像。
3) 大視場。
展開 深入了解目標檢測深度學習算法的技術細節
層次分組
在了解了選擇性搜索的工作原理后，接著看一些使用該法最常見的目標檢測算法。
第一目標檢測算法：R-CNN
Ross Girshick等人提出了區域CNN（R-CNN），允許選擇性搜索與CNN結合使用。實際上，對于每個區域方案（如本文中的2000），一個正向傳播會通過CNN生成一個輸出向量。這個向量將被輸入到one-vs-all分類器中。每個類別一個分類器，例如一個分類器設置為如果圖像是狗，則標簽=1，否則為0，另一個分類器設置為如果圖像是貓，標簽= 1，否則為0，以此類推。R-CNN使用的分類算法是SVM。
但如何將該地區標記為提議呢?當然，如果該區域完全匹配真值，可以將其標為1，如果給定的對象根本不存在，這個對象可以被標為0。
如果圖像中存在對象的一部分怎么辦?應該把這個區域標記為0還是1?為了確保訓練分類器的區域是在預測一幅圖像時可以實際獲得的區域（不僅僅是那些完美匹配的區域），來看看選擇性搜索和真值預測的框的并集（IoU)。
IoU是一個度量，用預測的框和真值框的重疊面積除以它們的并集面積來表示。它獎勵成功的像素檢測，懲罰誤報，以防止算法選擇整個圖像。
回到R-CNN方法，如果IoU低于給定的閾值(0.3)，那么相對應的標簽將是0。
在對所有區域建議運行分類器后，R-CNN提出使用一個特定類的邊界框（bbox）回歸量來優化邊界框。bbox回歸量可以微調邊界框的邊界位置。
展開 基于深度學習的目標檢測算法面試必備（RCNN~YOLOv5）
來源 |
深度學習與計算機視覺
鏈接 |
https://zhuanlan.zhihu.com/p/354060133
知圈 |
進“汽車智能互動社群”請加微信13636581676，備注交互
整體框架
目標檢測算法主要包括：【兩階段】目標檢測算法、【多階段】目標檢測算法、【單階段】目標檢測算法
什么是兩階段目標檢測算法，與單階段目標檢測有什么區別？
兩階段目標檢測算法因需要進行兩階段的處理：1）候選區域的獲取，2）候選區域分類和回歸，也稱為基于區域（Region-based）的方。與單階段目標檢測算法的區別：通過聯合解碼同時獲取候選區域、類別
什么是多階段目標檢測算法？
展開 
DroneCrowd—無人機人群檢測、跟蹤和計數多任務學習
2021CVPR
配備攝像頭的無人機或通用無人機(UAVs)已迅速部署到廣泛的應用領域，如人群分析和公共安全的視頻監控，使得基于無人機平臺的人群密度自動估計、計數和跟蹤成為重要任務。基于無人機平臺進行人群檢測、跟蹤和計數面臨視角和尺度變化、背景復雜和小尺度等各種挑戰。天津大學機器學習與數據挖掘團隊為了促進基于無人機的視頻目標檢測、跟蹤和計數算法的發展，構建了一個新的大規模無人機視覺數據集（DroneCrowd），并設計了時空近鄰感知網絡(STNNet)，可在單模型中同時實現人群檢測、跟蹤和計數三個任務。
展開 