趙 林1,張宇飛2,姚明旿2,郭彥濤1

(1.中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081；2.西安電子科技大學(xué)，陜西 西安 710071)

摘 要：無人機(jī)集群通過組建高動(dòng)態(tài)、可擴(kuò)展、智能化的無人機(jī)集群網(wǎng)絡(luò)，能夠提升無人機(jī)的適應(yīng)能力，協(xié)同完成復(fù)雜任務(wù)。針對無人機(jī)集群協(xié)同技術(shù)，介紹在路徑規(guī)劃、態(tài)勢感知和任務(wù)協(xié)作等領(lǐng)域的應(yīng)用研究，通過分析無人機(jī)集群網(wǎng)絡(luò)協(xié)同的發(fā)展歷程及傳統(tǒng)方案的不足，提出未來的無人機(jī)集群協(xié)作將是多智能體的無人機(jī)集群智能協(xié)同，給出了實(shí)現(xiàn)框架。

關(guān)鍵詞：無人機(jī)；集群；協(xié)同應(yīng)用；群體智能；多智能體

0 引言

多架無人機(jī)組成無人機(jī)集群可以協(xié)同完成任務(wù)，是未來無人機(jī)的發(fā)展方向。組成無人機(jī)集群的多架無人機(jī)通過機(jī)間鏈路互相通信實(shí)現(xiàn)協(xié)作，可以迅速準(zhǔn)確地執(zhí)行路徑規(guī)劃、協(xié)同偵察、協(xié)同感知和協(xié)同攻擊等復(fù)雜任務(wù)。

為實(shí)現(xiàn)無人機(jī)集群協(xié)作的誘人前景，國內(nèi)外都積極開展了相關(guān)研究工作。美國方面，美國國防預(yù)先研究計(jì)劃局(DARPA)于2015年推出“小精靈”項(xiàng)目，計(jì)劃研制具備自組織和智能協(xié)同能力的無人機(jī)蜂群系統(tǒng)。美國防部戰(zhàn)略能力辦公室(SCO)2014年啟動(dòng)了“無人機(jī)蜂群”項(xiàng)目，旨在通過有人機(jī)空射“灰山鶉”微型無人機(jī)蜂群執(zhí)行低空態(tài)勢感知和干擾任務(wù)。美國海軍研究局(ONR)于2015年公布了“低成本無人機(jī)蜂群”(LOCUST)項(xiàng)目，研發(fā)可快速連續(xù)發(fā)射的無人機(jī)蜂群，無人機(jī)之間利用近距離射頻網(wǎng)絡(luò)共享態(tài)勢信息，協(xié)同執(zhí)行掩護(hù)、攻擊或防御任務(wù)。2017年，在 DARPA 會(huì)議中心舉辦“進(jìn)攻性集群戰(zhàn)術(shù)”(OFFSET)項(xiàng)目的提案人活動(dòng)，目標(biāo)是發(fā)展基于游戲的開放架構(gòu)，為城市作戰(zhàn)的無人集群系統(tǒng)生成、評估和集成集群戰(zhàn)術(shù)。

歐洲方面，2016 年，歐洲防務(wù)局啟動(dòng)了“歐洲蜂群”項(xiàng)目，開展了無人機(jī)蜂群的自主決策、協(xié)同飛行等關(guān)鍵技術(shù)研究。2016年，英國國防部發(fā)起無人機(jī)蜂群競賽,參賽的多個(gè)團(tuán)隊(duì)控制無人機(jī)蜂群實(shí)現(xiàn)了通信中繼、協(xié)同干擾、目標(biāo)跟蹤定位和區(qū)域測繪等任務(wù)。2017 年，俄羅斯無線電電子技術(shù)集團(tuán)對外發(fā)表研究計(jì)劃稱，在戰(zhàn)斗機(jī)上裝載多架蜂群無人機(jī)可實(shí)現(xiàn)協(xié)同偵察和攻擊的新型作戰(zhàn)樣式。

國內(nèi)也相繼展開相關(guān)研究。最近，中國電科(CETC)電子科學(xué)研究院發(fā)布了陸軍協(xié)同無人機(jī)“蜂群”視頻，引起廣泛關(guān)注。

面對這一重要課題，本文研究總結(jié)了無人機(jī)協(xié)同應(yīng)用的發(fā)展趨勢，對其當(dāng)前研究進(jìn)展和發(fā)展方向進(jìn)行了探討，并提出無人機(jī)集群任務(wù)協(xié)作的發(fā)展趨勢是多智能體協(xié)同。

1 無人機(jī)協(xié)同應(yīng)用發(fā)展趨勢

對現(xiàn)有研究工作的分析如圖1所示，無人機(jī)協(xié)同應(yīng)用大體上可以分為3個(gè)階段，分別是分布式協(xié)同，群體智能協(xié)同和未來的多智能體協(xié)同。

   

圖1 無人機(jī)協(xié)同技術(shù)的發(fā)展趨勢
Fig.1 Developing trends of UAV collaboration technique

無人機(jī)集群協(xié)同發(fā)展的第1個(gè)階段是簡單分布式協(xié)同。在該階段，協(xié)同任務(wù)根據(jù)執(zhí)行條件，預(yù)先在簡單連接和組合的集群成員之間經(jīng)過計(jì)算處理后分配執(zhí)行。集群基本沒有能力根據(jù)環(huán)境與目標(biāo)的變化動(dòng)態(tài)調(diào)整任務(wù)分配，各無人機(jī)分擔(dān)的任務(wù)通常是確定的。

鑒于預(yù)分配方式的局限性，受生物集群活動(dòng)的啟發(fā)，群體智能被應(yīng)用于無人機(jī)集群，使無人機(jī)集群協(xié)同發(fā)展到第2個(gè)階段——群體智能協(xié)同。在該階段中，各個(gè)無人機(jī)節(jié)點(diǎn)被賦予初級智能，能夠進(jìn)行簡單的認(rèn)知和決策；通過集群個(gè)體之間更為緊密的耦合，可以根據(jù)執(zhí)行中的反饋調(diào)整優(yōu)化方式或者優(yōu)化目標(biāo)，使整個(gè)無人機(jī)集群系統(tǒng)有能力構(gòu)成自組織、高穩(wěn)定的分布式系統(tǒng)。群體智能協(xié)同階段當(dāng)前正處于研究和應(yīng)用迅速發(fā)展時(shí)期。

隨著節(jié)點(diǎn)計(jì)算能力的進(jìn)一步提升和人工智能技術(shù)的飛速發(fā)展，無人機(jī)協(xié)同即將進(jìn)入發(fā)展的第3個(gè)階段——多智能體協(xié)同。在多智能體協(xié)同發(fā)展階段，集群中的各個(gè)無人機(jī)都將是一個(gè)獨(dú)立的綜合智能體，具有多維度認(rèn)知計(jì)算和高級智能處理能力，從而實(shí)現(xiàn)更高效的自主學(xué)習(xí)和決策，并在此基礎(chǔ)上，完成更復(fù)雜、更艱巨的任務(wù)。

2 分布式協(xié)同

從無人機(jī)集群出現(xiàn)開始就被用于解決協(xié)同路徑規(guī)劃、協(xié)同感知和協(xié)同任務(wù)規(guī)劃等分布式協(xié)作任務(wù)。早期的無人機(jī)分布式協(xié)同任務(wù)通常都是提前進(jìn)行充分的計(jì)算和分配，無人機(jī)節(jié)點(diǎn)按照既定算法或者方案予以執(zhí)行。根據(jù)計(jì)算結(jié)果，分布式協(xié)同無人機(jī)群可組織執(zhí)行配置好的任務(wù)，如圖2所示。

   

圖2 分布式協(xié)同階段的任務(wù)執(zhí)行方式
Fig.2 Execution mode of tasks in distributed collaboration phase

2.1 協(xié)同路徑規(guī)劃

協(xié)同路徑規(guī)劃中，要求在給定目標(biāo)或者搜索目標(biāo)后，無人機(jī)節(jié)點(diǎn)根據(jù)當(dāng)前的任務(wù)狀態(tài)來確定飛行路徑。針對協(xié)同搜索和跟蹤任務(wù)的路線規(guī)劃，無人機(jī)集群可采用最大化目標(biāo)功能來檢測最重要的目標(biāo)，并在關(guān)鍵時(shí)刻對其進(jìn)行跟蹤，從而獲得最有價(jià)值的信息[1]。而協(xié)同搜索的路徑規(guī)劃可以分成無人機(jī)工作區(qū)間劃分和全區(qū)域覆蓋搜索路徑規(guī)劃2個(gè)子問題，將多機(jī)協(xié)同搜索轉(zhuǎn)化為子區(qū)域上的單機(jī)搜索，對目標(biāo)區(qū)域快速進(jìn)行劃分并生成飛行路線[2]。基于改進(jìn)遺傳算法的多無人機(jī)協(xié)同偵察航跡規(guī)劃算法，可用于解決面向復(fù)雜戰(zhàn)場環(huán)境中高效偵察多種類型目標(biāo)過程中的路徑規(guī)劃問題，并能夠有效地提高航跡規(guī)劃精度和效率[3]。

2.2 協(xié)同感知

協(xié)同感知是多無人機(jī)集群共同探測感知某一目標(biāo)區(qū)域狀態(tài)的任務(wù)形式。在這類任務(wù)中最常見的是協(xié)同頻譜感知。針對協(xié)同頻譜感知任務(wù)特點(diǎn)，采用最佳融合準(zhǔn)則的分布式協(xié)同任務(wù)執(zhí)行方案可以優(yōu)化檢測性能，使協(xié)作頻譜感知總錯(cuò)誤率達(dá)到最小，并能降低協(xié)作感知時(shí)間，節(jié)省感知過程開銷[4]。

2.3 協(xié)同任務(wù)規(guī)劃

協(xié)同任務(wù)規(guī)劃要求集群系統(tǒng)能夠根據(jù)目標(biāo)任務(wù)和執(zhí)行情況，對任務(wù)進(jìn)行系統(tǒng)分配。例如，針對協(xié)同打擊任務(wù)，通過建立無人機(jī)毀傷代價(jià)指標(biāo)函數(shù)、航程代價(jià)指標(biāo)函數(shù)和價(jià)值收益指標(biāo)函數(shù)，可以實(shí)現(xiàn)多無人機(jī)協(xié)同打擊任務(wù)的分配[5]；而通過建立多目標(biāo)優(yōu)化模型并采用遺傳算法，能有效提高任務(wù)的完成效率[6]。針對協(xié)同搜救任務(wù)，使用一種新的基于通信保持的拍賣方法的自適應(yīng)反饋調(diào)節(jié)遺傳算法，能夠改善傳統(tǒng)遺傳算法存在易陷入局部最優(yōu)的弱點(diǎn)[7]。

通過以上3種類型協(xié)同任務(wù)的相關(guān)研究工作可以看出，無人機(jī)集群的分布式協(xié)同方式雖然充分考慮了“分布式”特點(diǎn)，能夠根據(jù)任務(wù)目標(biāo)和集群特征，設(shè)置有效的目標(biāo)函數(shù)和優(yōu)化方法去尋求最優(yōu)或者較優(yōu)的結(jié)果，但是其任務(wù)執(zhí)行環(huán)境和求解目標(biāo)需要在任務(wù)執(zhí)行之前進(jìn)行優(yōu)化計(jì)算，然后分配執(zhí)行，不能適應(yīng)實(shí)際中動(dòng)態(tài)的任務(wù)目標(biāo)和環(huán)境變化，缺乏“智能性”的感知和適應(yīng)性行為。隨著人們對“蜂群”“鳥群”等生物群體智能研究的深入，群體智能協(xié)同被進(jìn)一步引入到無人機(jī)的協(xié)同中。

3 群體智能協(xié)同

“鳥群”“蟻群”等生物群體，雖然其中的個(gè)體智能有限，但是群體卻展現(xiàn)出高度的自組織性，這一特點(diǎn)與無人機(jī)集群自主協(xié)同的需求相符，因而群體智能在無人機(jī)協(xié)同應(yīng)用領(lǐng)域也得到了廣泛研究，使無人機(jī)集群協(xié)同具有了初步的智能性。具備群體智能的無人機(jī)集群系統(tǒng)在任務(wù)拆解和執(zhí)行過程中引入了群體反饋和適變能力，可執(zhí)行較復(fù)雜的動(dòng)態(tài)任務(wù)，其過程如圖3所示。

   

圖3 群體智能協(xié)同階段的任務(wù)執(zhí)行方式
Fig.3 Execution mode of tasks in swarm intelligent collaboration phase

3.1 協(xié)同路徑規(guī)劃

山區(qū)路徑規(guī)劃任務(wù)受到地形特征的強(qiáng)烈影響，難以預(yù)先確定性分配執(zhí)行，簡單的分布式協(xié)同無法勝任。例如，為了執(zhí)行山區(qū)應(yīng)急物資運(yùn)輸?shù)穆窂揭?guī)劃任務(wù)，一種考慮路徑安全度的改進(jìn)蟻群算法可快速收斂并生成更短路徑[8]。蟻群算法也被用于無人機(jī)協(xié)同飛抵空戰(zhàn)場的航跡規(guī)劃任務(wù)中[9]；一種基于改進(jìn)混沌蟻群算法更能克服傳統(tǒng)蟻群智能算法中易出現(xiàn)局部極值、收斂效率低的缺陷，提升算法的全局尋優(yōu)能力和搜索效率[10]。針對協(xié)同攻擊移動(dòng)目標(biāo)場景的航跡規(guī)劃，另一種改進(jìn)的蟻群算法建立了結(jié)合任務(wù)分配的無人機(jī)群協(xié)同航跡規(guī)劃模型，可以快速地對地面多個(gè)移動(dòng)目標(biāo)規(guī)劃出有效的航跡[11]。

3.2 協(xié)同感知

在協(xié)同感知任務(wù)中，群體智能也得到應(yīng)用。針對無人機(jī)集群通信場景和需求，出現(xiàn)了考慮結(jié)合認(rèn)知無線電技術(shù)指導(dǎo)下的智能通信思想和匯聚有限智慧的群體智能理論方法,構(gòu)建了群體智能協(xié)同通信模型和智能協(xié)同感知模型[12]。

3.3 協(xié)同任務(wù)規(guī)劃

協(xié)同作戰(zhàn)是協(xié)同任務(wù)規(guī)劃中的典型場景，結(jié)合群體智能優(yōu)化算法的優(yōu)勢，基于粒子群-整數(shù)編碼狼群算法的集群組網(wǎng)任務(wù)分配算法適合解決此類協(xié)同問題[13]；由于無人機(jī)集群協(xié)同決策困難，還可以結(jié)合狼群算法的認(rèn)知與協(xié)作能力，實(shí)現(xiàn)在復(fù)雜環(huán)境下迅速對目標(biāo)進(jìn)行跟蹤和包圍[14]。這種協(xié)同任務(wù)，是第一類簡單協(xié)同所不能勝任的。

雖然無人機(jī)集群和群體智能的結(jié)合可以充分發(fā)揮無人機(jī)集群優(yōu)勢，增強(qiáng)分布式協(xié)同智能性，可在任務(wù)執(zhí)行過程中與環(huán)境和任務(wù)執(zhí)行中間過程產(chǎn)生一定交互和反饋，使之具備一定的自適應(yīng)能力，但是，這種智能仍然是非常有限的，其本質(zhì)仍然是基于特定計(jì)算模式和反饋模式下的分布式優(yōu)化算法。

4 多智能體協(xié)同

隨著人工智能技術(shù)和節(jié)點(diǎn)自身算力的不斷增強(qiáng)，未來無人機(jī)集群中的個(gè)體將具備更強(qiáng)的智能性，能夠獨(dú)立對環(huán)境和任務(wù)進(jìn)行感知和評估，實(shí)現(xiàn)多個(gè)智能體之間的交互和協(xié)同，從而具備多智能體協(xié)同能力。

近年來，人工智能領(lǐng)域研究取得了突破性進(jìn)展。其中，深度強(qiáng)化學(xué)習(xí)在諸多領(lǐng)域得到了成功應(yīng)用。無線通信網(wǎng)絡(luò)基于多智能體深度強(qiáng)化學(xué)習(xí)的資源分配技術(shù)也得到了深入研究。多智能體深度強(qiáng)化學(xué)習(xí)模型早已被用于解決車聯(lián)網(wǎng)中頻譜資源分配問題[15-16]，這種應(yīng)用已經(jīng)與無人機(jī)集群系統(tǒng)頗為接近。例如一種基于多智能體深度強(qiáng)化學(xué)習(xí)的分布式動(dòng)態(tài)功率分配方案[17]。基于多智能體深度強(qiáng)化學(xué)習(xí)的策略還可被用于二者的結(jié)合——用無人機(jī)輔助車輛網(wǎng)絡(luò)進(jìn)行多維資源管理[18]。

雖然基于強(qiáng)化學(xué)習(xí)的多智能體通信網(wǎng)絡(luò)資源分配問題已經(jīng)得到了廣泛研究，但是由于網(wǎng)絡(luò)特性的不同，傳統(tǒng)的針對其他通信網(wǎng)絡(luò)的研究成果不能直接用于無人機(jī)集群網(wǎng)絡(luò)。因而基于強(qiáng)化學(xué)習(xí)的多智能體自主協(xié)同應(yīng)用逐漸成為未來無人機(jī)多智能體自主協(xié)同的一個(gè)研究熱點(diǎn)。針對無人機(jī)群的通信網(wǎng)絡(luò)資源動(dòng)態(tài)分配問題而提出的多智能體深度強(qiáng)化學(xué)習(xí)方案也陸續(xù)出現(xiàn)[16]，例如，一種基于多智能體深度強(qiáng)化學(xué)習(xí)的分布式干擾協(xié)調(diào)策略被用于受到干擾的無人機(jī)網(wǎng)絡(luò)中的文件下載業(yè)務(wù)[19]。智能體在適用于無人機(jī)網(wǎng)絡(luò)特點(diǎn)的獨(dú)立強(qiáng)化學(xué)習(xí)中，其行為策略通常只能根據(jù)它們對全局環(huán)境的局部個(gè)體觀察來制定。針對這種局限性，聯(lián)合采用2種不同規(guī)模的智能體可解決智能體之間的通信問題[20]。

無人機(jī)集群協(xié)同，經(jīng)常會(huì)處理動(dòng)態(tài)高維離散和連續(xù)動(dòng)作狀態(tài)空間的優(yōu)化求解問題，近來出現(xiàn)的演員-評論家算法是深度強(qiáng)化學(xué)習(xí)的一個(gè)新興方向，結(jié)合了基于值函數(shù)和基于策略函數(shù)的深度強(qiáng)化學(xué)習(xí)兩大分支的優(yōu)勢，非常適用于無人機(jī)集群的智能協(xié)同[21-23]。利用演員-評論家算法，在無線信道和可再生能源再生率都是隨機(jī)變化，且環(huán)境動(dòng)態(tài)變化條件下，可尋求資源分配最佳策略[21]，如用于解決車聯(lián)網(wǎng)中復(fù)雜動(dòng)態(tài)環(huán)境下的資源分配問題[22]。應(yīng)用設(shè)備到設(shè)備(D2D)網(wǎng)絡(luò)的異構(gòu)蜂窩網(wǎng)絡(luò)環(huán)境下，基于演員-評論家算法的策略可用于智能化節(jié)能模式選擇和資源分配[23]。

隨著節(jié)點(diǎn)智能算力的不斷增強(qiáng)，無人機(jī)集群中的每架無人機(jī)可以作為一個(gè)具有深度強(qiáng)化學(xué)習(xí)能力的智能體，而整個(gè)集群可通過合作構(gòu)成多智能體。相鄰無人機(jī)之間通過通信網(wǎng)絡(luò)進(jìn)行信息交換與分發(fā)。如圖4所示，每架無人機(jī)都與局部環(huán)境相互作用，根據(jù)從周圍環(huán)境或者同伴無人機(jī)得到的信息，針對承載的任務(wù)需求，通過深度強(qiáng)化學(xué)習(xí)，智能地產(chǎn)生動(dòng)作策略，進(jìn)行自身資源與行為的分配與調(diào)整，進(jìn)而與環(huán)境和同伴互動(dòng)，并獲得個(gè)體獎(jiǎng)勵(lì)。

   

圖4 基于多智能體的無人機(jī)集群
Fig.4 UAV swarm based on multi-agent collaboration

每架無人機(jī)的深度強(qiáng)化學(xué)習(xí)智能體由2個(gè)深度神經(jīng)網(wǎng)絡(luò)構(gòu)成，包括演員網(wǎng)絡(luò)和評論家網(wǎng)絡(luò)，如圖5所示。

   

圖5 基于演員評論家算法的無人機(jī)智能體
Fig.5 Intelligent agent UAV of actor-critic algorithm

演員網(wǎng)絡(luò)負(fù)責(zé)輸出動(dòng)作，評論家網(wǎng)絡(luò)負(fù)責(zé)評價(jià)演員的動(dòng)作，以獲得相互促進(jìn)的效果。與傳統(tǒng)的深度強(qiáng)化學(xué)習(xí)方法相比，演員-評論家算法同時(shí)吸取了基于值函數(shù)方法和基于策略函數(shù)方法的優(yōu)點(diǎn)，從價(jià)值和策略兩方面來訓(xùn)練提升智能體，訓(xùn)練的更快，效果也更好。通過訓(xùn)練和學(xué)習(xí)，期望智能體的評論家網(wǎng)絡(luò)可以獲得最佳效用評估函數(shù)：

Q*(s,a,ω)=E[rt+γmaxQπ(st+1,at+1,ω)|s=st,a=at]。

(1)

智能體從周圍環(huán)境中觀察得到狀態(tài)信息St ，例如干擾狀態(tài)、相鄰無人機(jī)等。演員網(wǎng)絡(luò)擬合動(dòng)作策略函數(shù)π(St;ωπ)，根據(jù)狀態(tài)信息St，動(dòng)作策略函數(shù)輸出當(dāng)前時(shí)隙的動(dòng)作at，也就是資源分配結(jié)果，并應(yīng)用到環(huán)境中得到個(gè)體的即時(shí)獎(jiǎng)勵(lì)rt。獎(jiǎng)勵(lì)由獎(jiǎng)勵(lì)函數(shù)計(jì)算得到，負(fù)責(zé)反饋一個(gè)即時(shí)的、合理的、具有指導(dǎo)意義的獎(jiǎng)勵(lì)值，從而激勵(lì)智能體向目標(biāo)更新策略。評論家網(wǎng)絡(luò)擬合效用評估函數(shù)Q(St,at,ω)，負(fù)責(zé)預(yù)測和評估在當(dāng)前狀態(tài)St采用動(dòng)作at所能得到的狀態(tài)動(dòng)作價(jià)值，即長期性回報(bào)Rt為：

 

(2)

式中，γ是折扣因子，γ表示了當(dāng)前對于未來收益的重視程度，取值在0～1之間，取值0則表示智能體忽視未來收益，只看重當(dāng)前的收益rt，取值1則表示智能體將未來每個(gè)時(shí)刻的收益都視為與當(dāng)前時(shí)刻收益一樣的重要性。獲得最大的長期性回報(bào)是智能體的最終目的，這個(gè)目標(biāo)可以根據(jù)任務(wù)的性質(zhì)被定義為不同的評判標(biāo)準(zhǔn)。

評論家網(wǎng)絡(luò)的最佳效用評估函數(shù)對應(yīng)的演員網(wǎng)絡(luò)動(dòng)作策略即為最佳動(dòng)作策略π*。動(dòng)作策略函數(shù)的參數(shù)通過策略梯度的方法進(jìn)行更新，效用評估函數(shù)的參數(shù)采用最小化損失函數(shù)進(jìn)行更新：

L(ω)=E[(yt-Q(st,at;ω))2]，

(3)

式中，yt為優(yōu)勢函數(shù)，用來衡量計(jì)算執(zhí)行動(dòng)作后的實(shí)際效用評估值。通過更新，智能體的演員網(wǎng)絡(luò)的動(dòng)作策略輸出的動(dòng)作越來越好，而評論家網(wǎng)絡(luò)的效用評估也會(huì)越來越準(zhǔn)確。基于多智能體的無人機(jī)群的每架無人機(jī)都會(huì)朝著收益最大的方向執(zhí)行動(dòng)作，從而實(shí)現(xiàn)集群的收益最大化。

5 結(jié)束語

無人機(jī)集群協(xié)同執(zhí)行任務(wù)是未來無人機(jī)應(yīng)用的重要方向，本文以無人機(jī)集群協(xié)作應(yīng)用為對象，綜述了無人機(jī)協(xié)同在各領(lǐng)域中的應(yīng)用，通過分析指出未來多智能體協(xié)作是無人機(jī)協(xié)同應(yīng)用的發(fā)展方向。無人機(jī)協(xié)同應(yīng)用已經(jīng)得到了廣泛研究，未來通過與人工智能的深度結(jié)合，必將向著更加智能、自主的方向發(fā)展。

參考文獻(xiàn)

[1] PITRI R R,LI X R,DELBALZO R．UAV Route Planning for Joint Search and Track Missions—An Information-value Approach[J].IEEE Transactions on Aerospace and Electronic Systems,2012,48(3):2551-2565.

[2] 戴健,許菲,陳琪鋒.多無人機(jī)協(xié)同搜索區(qū)域劃分與路徑規(guī)劃[J].航空學(xué)報(bào),2020 (S1):149-156.

[3] 李文廣,胡永江,龐強(qiáng)偉，等.基于改進(jìn)遺傳算法的多無人機(jī)協(xié)同偵察航跡規(guī)劃[J].中國慣性技術(shù)學(xué)報(bào),2020(2):248-255.

[4] 張宏偉,達(dá)新宇,胡航，等.認(rèn)知無人機(jī)網(wǎng)絡(luò)中多機(jī)協(xié)作頻譜感知研究[J].空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版),2020(1):92-98.

[5] 陳俠,喬艷芝.多無人機(jī)協(xié)同打擊任務(wù)分配方法[J].電光與控制,2018 (6):20-24.

[6] 肖東,江駒,余朝軍，等.基于多目標(biāo)遺傳算法的異構(gòu)無人機(jī)協(xié)同察打[J].電光與控制，2018(7):24-28.

[7] 李明龍,楊文婧,易曉東，等.面向?yàn)?zāi)難搜索救援場景的空地協(xié)同無人群體任務(wù)規(guī)劃研究[J].機(jī)械工程學(xué)報(bào),2019(11):1-9.

[8] 唐立,郝鵬,張學(xué)軍.基于改進(jìn)蟻群算法的山區(qū)無人機(jī)路徑規(guī)劃方法[J].交通運(yùn)輸系統(tǒng)工程與信息,2019(1):158-164.

[9] 周文卿,朱紀(jì)洪,匡敏馳.一種基于群體智能的無人空戰(zhàn)系統(tǒng)[J].中國科學(xué)F輯,2020(3):363-374.

[10] 劉蓉,楊帆,張衡.基于改進(jìn)混沌蟻群算法的無人機(jī)航路規(guī)劃[J].指揮信息系統(tǒng)與技術(shù),2018(6):41-48.

[11] 陳俠,劉永泰.多UAV攻擊移動(dòng)目標(biāo)的協(xié)同任務(wù)分配與航跡規(guī)劃[J].火力與指揮控制,2020(9):37-42.

[12] 孫佳琛,王金龍,陳瑾，等.群體智能協(xié)同通信:愿景,模型和關(guān)鍵技術(shù)[J].中國科學(xué)F輯,2020(3):305-317.

[13] 汪汝根,李為民,劉永蘭，等.無人機(jī)集群組網(wǎng)任務(wù)分配方法研究[J].系統(tǒng)仿真學(xué)報(bào),2018(12):4794-4801.

[14] 段海濱,張岱峰,范彥銘，等.從狼群智能到無人機(jī)集群協(xié)同決策[J].中國科學(xué)F輯,2019(1):112-118.

[15] LIANG L,YE H,LI G Y.Spectrum Sharing in Vehicular Networks Based on Multi-Agent Reinforcement Learning[J].IEEE Journal on Selected Areas in Communications,2019,37(10):2282-2292.

[16] CUI J J,LIU Y W,NALLANATHAN A.Multi-AgentReinforcement Learning-based Resource Allocation for UAV Networks[J],IEEE Transactions on Wireless Communications,2020,19(2):729-743.

[17] NASIR Y S,GUO D.Multi-Agent Deep Reinforcement Learning for Dynamic Power Allocation in Wireless Networks[J].IEEE Journal on Selected Areas in Communications,37(10):2239-2250.

[18] PENG H,SHEN X.Multi-Agent Reinforcement Learning Based Resource Management in MEC-and UAV-Assisted Vehicular Networks[J].IEEE Journal on Selected Areas in Communications,2021,39(1):131-141.

[19] 劉婷婷,羅義南,楊晨陽.基于多智能體深度強(qiáng)化學(xué)習(xí)的分布式干擾協(xié)調(diào)2021[J].通信學(xué)報(bào),2020(7):38-48.

[20] XU X,LI R,ZHAO Z,et al.Stigmergic Independent Reinforcement Learning for Multi-agent Collaboration[J].arXiv preprint arXiv:1911.12504,2019.

[21] WEI Y,YU F R,SONG M,et al.User Scheduling and Resource Allocation in HetNets with Hybrid Energy Supply:An Actor-critic Reinforcement Learning Approach[J].IEEE Transactions on Wireless Communications,2018,17(1):680-692.

[22] LIANG L,YE H,YU G,et al.Deep-learning-Based Wireless Resource Allocation with Application to Vehicular Networks[J].Proceedings of the IEEE,2020,108(2):341-356.

[23] ZHANG T,ZHU K,WANG J.Energy-efficient Mode Selection and Resource Allocation for D2D-enabled Heterogeneous Networks:A Deep Reinforcement Learning Approach[J].IEEE Transactions on Wireless Communications,2021,20(2):1175-1187.

Development and Trend of UAV Swarm Cooperative Techniques

ZHAO Lin 1,ZHANG Yufei2,YAO Mingwu2,GUO Yantao 1

(1.The 54th Research Institute of CETC,Shijiazhuang 050081,China; 2.Xidian University,Xi’an 710071,China)

Abstract：Unmanned Avionic Vehicle (UAV)swarms can improve the adaptability of UAVs and perform complex tasks in coordination by building a highly dynamic,scalable and intelligent UAV swarm network.Focused on the collaborative techniques of UAV swarms,the application researches of UAV swarms in the fields of path planning,situational awareness and task collaboration are reviewed.Based on an analysis of the development trends of UAV swarm network collaboration and the drawbacks of traditional solutions,it is proposed that the UAV swarm collaboration would be a multi-agent UAV swarm intelligent collaboration,and an implementation framework of such a network is suggested.

Keywords：UAV;swarm;cooperative application;swarm intelligence;multi-agent

中圖分類號：V279

文獻(xiàn)標(biāo)志碼：A

開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID)：

文章編號：1003-3106(2021)08-0823-06

doi：10.3969/j.issn.1003-3106.2021.08.023

引用格式：趙林,張宇飛,姚明旿,等.無人機(jī)集群協(xié)同技術(shù)發(fā)展與展望[J].無線電工程，2021，51(8):823-828.[ZHAO Lin,ZHANG Yufei,YAO Mingwu,et al.Development and Trend of UAV Swarm Cooperative Techniques[J].Radio Engineering,2021,51(8):823-828.]

收稿日期：2021-05-28

基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目(61671353)

Foundation Item：Project Supported by the National Natural Foundation (61671353)

作者簡介

 

趙 林 男，(1963—)，畢業(yè)于河北工學(xué)院電器專業(yè)，高級工程師。主要研究方向：通信與信息網(wǎng)絡(luò)。

 

張宇飛 男，(1996—)，碩士研究生。主要研究方向：自組織網(wǎng)絡(luò)。

 

姚明旿 男，(1975—)，博士，副教授。主要研究方向：組網(wǎng)與交換技術(shù)、時(shí)間敏感網(wǎng)絡(luò)。

 

郭彥濤 男，(1964—)，博士，研究員。主要研究方向：通信與信息網(wǎng)絡(luò)。