由于老齡化、意外事故和疾病等諸多原因，我國失能和半失能人口日趨增多，其中處于失能或半失能狀態(tài)的老年人已經(jīng)超過4×10⁷，如何改善他們的生活已經(jīng)成為重要的社會問題。隨著機器人技術(shù)和康復(fù)醫(yī)學(xué)的發(fā)展，機器人在康復(fù)醫(yī)療領(lǐng)域得到廣泛推廣應(yīng)用。然而，大部分重度失能患者無法通過傳統(tǒng)的人機交互方式(語音、鍵盤等)控制康復(fù)機器人，因此人機交互能力的擴展對于發(fā)揮康復(fù)機器人系統(tǒng)的作用至關(guān)重要。

腦機接口(Brain-Computer Interface,BCI)是一種不依賴人體外周神經(jīng)和肌肉的，在大腦與外界環(huán)境間建立直接信息與控制通道的技術(shù)，實現(xiàn)大腦與外部設(shè)備間的直接交互。通過實時解析患者大腦信息，控制高自由度靈巧機械臂完成復(fù)雜動作，進而實現(xiàn)醫(yī)療輔助已成為當(dāng)前BCI技術(shù)的研究熱點。目前BCI主要分為兩大類：植入式BCI和非植入式BCI。植入式BCI雖然信噪比較高，但需要通過手術(shù)將微電極植入人體大腦神經(jīng)皮層，具有一定風(fēng)險，受試對象往往無法接受；而非植入式BCI，如腦電圖(ElectroEncephaloGraphy,EEG)具有高時間分辨率、操作簡單且對人體無創(chuàng)等特點，更能滿足大多數(shù)失能患者的需求。

近年來，雖然基于非植入式BCI控制機械臂的研究取得了諸多成果，但仍存在可用指令較少、控制過程嚴(yán)格受限等問題。例如上海交通大學(xué)的徐陽使用基于運動想象(Motor Imagery,MI)的BCI實現(xiàn)對機械臂的移動控制，僅可實現(xiàn)兩種控制指令；華東理工大學(xué)的左詞立等人實現(xiàn)對兩種不同筆畫漢字字符的識別，目前所識別的漢字字符數(shù)目為2個。相對而言，基于穩(wěn)態(tài)視覺誘發(fā)電位(Steady-State Visual Evoked Potential,SSVEP)的非植入式BCI(SSVEP-BCI)，通信速率更高，可識別指令數(shù)目相對較多，因此備受關(guān)注。

當(dāng)人體受到一個固定頻率的視覺刺激時，大腦皮層的電位活動將被調(diào)制，從而產(chǎn)生一個連續(xù)的且與刺激頻率有關(guān)的響應(yīng)，即為SSVEP。識別該響應(yīng)的過程通常使用固定窗口，有利于降低系統(tǒng)復(fù)雜性和提高系統(tǒng)穩(wěn)定性。然而由于使用者間存在明顯差異，同一使用者在不同時刻也將發(fā)生變化，使得固定窗口在實際使用中受到一定限制。動態(tài)窗口可以根據(jù)當(dāng)前受試者的狀態(tài)自適應(yīng)地調(diào)整數(shù)據(jù)長度，從而調(diào)節(jié)刺激時長，減輕受試者的視覺疲勞，提高系統(tǒng)效率。王春慧等人采用基于Bayes的動態(tài)停止(Dynamic Stopping,DS)策略實現(xiàn)了動態(tài)窗口，從而進一步提升SSVEP-BCI的性能。

另外，目前誘發(fā)SSVEP的視覺刺激大多由計算機屏幕提供，靈活性較差。例如，Chen等人設(shè)計的腦控機械臂系統(tǒng)，使用計算機屏幕提供視覺刺激，雖然平均準(zhǔn)確率達92.78％，但是由于屏幕位置固定，所以執(zhí)行任務(wù)過程中要求受試者不斷地在機械臂和屏幕間轉(zhuǎn)移視線，加重了受試者的負(fù)擔(dān)。增強現(xiàn)實(Augmented Reality,AR)是一種將虛擬信息與現(xiàn)實世界智能融合的技術(shù)。AR技術(shù)與BCI技術(shù)的融合(AR-BCI)在一定程度上可以解決BCI系統(tǒng)靈活性較差的問題。Arpaia等人利用AR-BCI實現(xiàn)了機器人的移動控制，使受試者擺脫了屏幕的束縛，行動更加自由。

BCI控制系統(tǒng)一般可為同步系統(tǒng)和異步系統(tǒng)。同步系統(tǒng)要求使用者嚴(yán)格按照系統(tǒng)分配的時序選擇命令，使用者活動受限；異步系統(tǒng)中操作序列沒有固定的周期節(jié)拍和嚴(yán)格的時鐘同步，每個指令或每一步操作可以根據(jù)需求來占用相應(yīng)的時間，更貼近于人的正常操作習(xí)慣。異步系統(tǒng)的關(guān)鍵是區(qū)分用戶的工作狀態(tài)和空閑狀態(tài)。

因此，綜合上述相關(guān)研究，為解決目前大多數(shù)SSVEP-BCI存在的靈活性差且易使受試者疲勞等問題，本文提出一種AR場景下基于SSVEP的機械臂異步控制系統(tǒng)。首先，設(shè)計視覺刺激界面，構(gòu)建基于SSVEP的AR-BCI系統(tǒng)；接著，設(shè)計基于投票策略和差值預(yù)測的動態(tài)窗口，實現(xiàn)刺激時間長度的靈活調(diào)整；然后，利用偽密鑰構(gòu)建狀態(tài)選擇界面，實現(xiàn)機械臂系統(tǒng)的異步控制；最后，設(shè)計腦控機械臂拼圖試驗，驗證此控制系統(tǒng)的有效性和可行性。相較于上述研究，本研究將AR技術(shù)、動態(tài)窗口、異步控制策略與SSVEP-BCI相融合，進一步提高了BCI系統(tǒng)的可行性和實用性。

本次試驗共有10名視力正常或矯正至正常的健康受試者(7名男性和3名女性；年齡在23～26歲)參加。

在所有受試者中，有5名受試者參加過BCI的相關(guān)試驗或?qū)CI有一定了解，而另外5名受試者不熟悉BCI及其相關(guān)試驗。所有受試者的母語均為漢語，并熟悉在試驗中使用的英文字符。其中，只有一名男性受試者為左利手，其余受試者均為右利手。在整個試驗過程中，受試者坐在相對舒適安靜的實驗室中。

設(shè)計基于SSVEP的機械臂控制系統(tǒng)，如圖1所示，包括AR-BCI子系統(tǒng)和機械臂子系統(tǒng)，通過TCP/IP通信協(xié)議實現(xiàn)指令和信息的傳遞。

圖 1 系統(tǒng)整體結(jié)構(gòu)圖

2.1AR-BCI子系統(tǒng)

AR-BCI子系統(tǒng)包括視覺刺激、EEG數(shù)據(jù)采集和EEG數(shù)據(jù)信號處理3個模塊。

2.1.1視覺刺激

如圖2所示，設(shè)計的視覺刺激界面包含12個刺激矩陣和1個提示框。前11個刺激矩陣采用數(shù)字的形式表示目標(biāo)的終點位置坐標(biāo)“1”～“11”；第12個刺激矩陣為“back”命令，用于撤銷上一步操作。

圖 2 視覺刺激界面

在實際應(yīng)用過程中，需要依次選擇橫縱坐標(biāo)，提示框出現(xiàn)相應(yīng)的提示符“Row”和“Column”，通過兩次閃爍確定一個坐標(biāo)值。其中，第1次閃爍用于選擇坐標(biāo)，閃爍結(jié)束后系統(tǒng)將識別結(jié)果反饋在刺激界面上，即提示框內(nèi)出現(xiàn)反饋字符，且對應(yīng)反饋字符的白色矩陣變?yōu)樗{色。第2次閃爍用于校正，當(dāng)受試者發(fā)現(xiàn)反饋字符與自身所選不符時，可以通過選擇“back”命令撤銷選擇；反之，在第2次閃爍時隨意選擇除“back”之外的命令即可。

刺激矩陣采用正弦波閃爍，如式(1)和式(2)所示，刺激頻率、相位與矩陣位置的關(guān)系為

視覺刺激由MATLAB PsychToolBox-3(PTB3)生成，呈現(xiàn)在AR設(shè)備(NED+，中國)的屏幕上。屏幕分辨率為1920×1080，刷新率為60Hz。

2.1.2EEG數(shù)據(jù)采集

EEG數(shù)據(jù)利用EEG數(shù)據(jù)采集設(shè)備來采集，采樣頻率為1000Hz。電極按照10-20國際電極放置法進行放置，選擇位于枕區(qū)的9個電極采集EEG數(shù)據(jù)，分別為Pz,PO5,PO3,POz,PO4,PO6,O1,Oz和O2。接地電極放置在Fz和FPz之間，參考電極放置在頭部頂點。上述11個電極的阻抗均保持在10kW以下。

2.1.3EEG數(shù)據(jù)處理

EEG數(shù)據(jù)處理模塊主要包括預(yù)處理、分類和指令轉(zhuǎn)換部分。利用帶通濾波對EEG數(shù)據(jù)進行預(yù)處理，截止頻率分別為8Hz和90Hz，阻帶上下截止頻率分別為6Hz和100Hz。由于存在視覺延遲，故截取視覺刺激開始0.15s后的EEG數(shù)據(jù)段。接著，將數(shù)據(jù)段輸入到分類模型識別受試者的意圖，并將其轉(zhuǎn)化為機械臂控制指令。

2.2EEG機械臂子系統(tǒng)

機械臂子系統(tǒng)主要包括機械臂、工作區(qū)域、目標(biāo)物及控制主機。機械臂為6自由度機械臂，配有二指夾爪，固定在工作臺的右側(cè)。工作區(qū)域為一個11×11的矩形棋盤，從機械臂視角看，從左至右為橫軸，從上至下為縱軸。目標(biāo)物為10顆直徑為2.8cm的黑色小球。

控制主機安裝Ubuntu16.04系統(tǒng)和機器人操作系統(tǒng)(Robot Operating System,ROS)。機械臂的驅(qū)動程序和運動控制程序均部署在ROS上。在ROS中，除了機械臂原有的節(jié)點外，還包括AR-BCI系統(tǒng)發(fā)布的節(jié)點，用于向機械臂發(fā)送控制命令及接收機械臂狀態(tài)信息。

機械臂的路徑規(guī)劃采用笛卡兒空間軌跡規(guī)劃方法，在輸入機械臂的始末端位置、姿態(tài)及沿途經(jīng)過的路徑點位姿變化后，系統(tǒng)自動規(guī)劃機械臂的行動路徑。同時，在機械臂行動過程中，系統(tǒng)通過機械臂相關(guān)節(jié)點實時獲取當(dāng)前機械臂的運行速度和位置信息，用以確定夾爪工作的開始時刻。

為驗證系統(tǒng)有效性，分別設(shè)計離線和在線兩種試驗：

(1)離線試驗：在AR環(huán)境下完成屏幕上的目標(biāo)識別任務(wù)，無機械臂控制；

(2)在線試驗：在AR環(huán)境下控制機械臂并完成拼圖任務(wù)。

3.1離線試驗

離線試驗?zāi)康氖菐椭茉囌呤煜は嚓P(guān)試驗，檢測AR-BCI系統(tǒng)的實際性能，驗證動態(tài)窗口的有效性。在離線試驗中，受試者佩戴AR眼鏡，并專注于屏幕上的SSVEP刺激界面，無需控制機械臂。

每名受試者需要進行至少10次測試，每次測試包含12個識別目標(biāo)提示(即12條指令)，每個目標(biāo)提示出現(xiàn)的順序是隨機的。每輪識別過程持續(xù)4s，其中3s用于視覺刺激，1s用于目標(biāo)提示和休息。在試驗前，屏幕中出現(xiàn)目標(biāo)提示，相應(yīng)目標(biāo)的白色背景變?yōu)榧t色。在試驗中，目標(biāo)按照預(yù)設(shè)的頻率和相位閃爍，為受試者提供視覺刺激，要求受試者將視線聚焦在所提示的目標(biāo)。當(dāng)一輪刺激結(jié)束后，屏幕上會出現(xiàn)下一個目標(biāo)的提示，要求受試者及時將目光從上一個目標(biāo)轉(zhuǎn)移到下一個目標(biāo)。

試驗結(jié)束后，分別使用固定窗口和動態(tài)窗口對離線數(shù)據(jù)進行處理，并對比兩者的差異。

3.2在線試驗

在線試驗要求受試者佩戴AR眼鏡，通過抓取黑色小球并將其放置在工作區(qū)域完成拼圖任務(wù)。在線試驗中沒有視覺提示，小球放置的位置并不固定，由受試者自行選擇。當(dāng)受試者確定小球放置位置后，自行切換刺激界面，受試者選擇目標(biāo)放置位置的坐標(biāo)(行坐標(biāo)和列坐標(biāo))。然后，機械臂到指定位置抓取小球，并將小球根據(jù)選擇結(jié)果移動到目標(biāo)位置。

要求受試者在工作區(qū)域依次完成菱形和三角形兩項拼圖任務(wù)，其中每個圖形由8顆黑色小球組成，記錄受試者完成任務(wù)所需時間。

本文設(shè)計了一套AR環(huán)境下基于SSVEP的機械臂異步控制系統(tǒng)。使用AR設(shè)備擺脫了傳統(tǒng)屏幕的束縛，使BCI系統(tǒng)的使用更為便利。使用動態(tài)窗口可以靈活調(diào)整刺激時長，在一定程度上減輕受試者的視覺疲勞。利用FBCCA算法，充分提取數(shù)據(jù)的重要信息，實現(xiàn)12目標(biāo)的準(zhǔn)確識別，確定目標(biāo)位置坐標(biāo)。系統(tǒng)的平均準(zhǔn)確度為(93.11±5.85)％，平均ITR為(59.69±8.11)bits·min^-1。采用偽密鑰實現(xiàn)機械臂異步控制，使受試者順利完成兩種拼圖任務(wù)(平均時間681.7s)，有效地提高了系統(tǒng)的實用性和靈活性。

試驗結(jié)果表明，無論是BCI試驗經(jīng)驗豐富的受試者還是無經(jīng)驗受試者均可利用該系統(tǒng)控制機械臂去完成相應(yīng)的目標(biāo)任務(wù)。本文的研究是一次有益的探索，證明了本文提出的人機交互方法具備一定的可行性和有效性，為將來腦控機械臂的發(fā)展提供了一種新的思路。同時，此系統(tǒng)將來還可以作為一種康復(fù)理療的手段，幫助病患恢復(fù)自身的運動能力，具有一定的應(yīng)用前景。

雖然該系統(tǒng)具有一定的優(yōu)勢，但在異步控制方面，基于偽鍵而設(shè)計的狀態(tài)切換策略使得受試者的視線受到一定的遮擋，影響了受試者的使用。同時，滑動窗口也存在進一步改進的空間。并且SSVEP自身也存在一些局限性。例如目前誘發(fā)SSVEP信號的視覺刺激大多數(shù)采用低頻視覺刺激，這容易引起受試者疲勞。另外SSVEP-BCI系統(tǒng)的效率相對于傳統(tǒng)交互方式還是比較慢，影響了他的推廣及應(yīng)用。未來的工作將對更為便利和有效的異步控制方式、刺激范式和滑動窗口進行研究，使控制系統(tǒng)的實用性得到進一步提高。）