【摘要】 腦控是一種新的控制方法。傳統腦控機器人主要是控制單個機器人完成特定任務，而腦控多機器人協作(MRC)任務是一個有待研究的新課題。本文介紹了參加世界機器人大賽“腦—機接口(BCI)腦控機器人比賽”獲得“創新創意獎”的一個試驗研究，試驗設置了 2 個腦開關，采用基于穩態視覺誘發電位(SSVEP)的 BCI(SSVEP-BCI)控制人形機器人和機械臂完成協作任務。通過 10 名受試者的控制試驗結果表明，通過適當設置腦開關，采用性能優良的 SSVEP-BCI 能夠實現 MRC 任務的有效完成。本研究可望為未來實用化的腦控 MRC 任務系統的研究提供啟發。

　　【關鍵詞】 腦控;腦—機器人交互;多機器人協作;腦開關;穩態視覺誘發電位

　　引言

　　腦控是一種新的控制方法，而直接腦控機器人是腦控與機器人控制交叉融合的一個重要應用[1-3]?？茖W家和工程學家已認識到，腦—機器人交互是一種新型的人—機交互技術，可能通過腦—機接口(brain-computer interface，BCI)架起人腦生物智能與機器智能之間的橋梁[4]。這方面的探索研究不僅具有重要的腦科學意義，也具有潛在的應用前景。

　　通常，傳統的腦控機器人主要集中于腦控單個機器人來完成特定任務，例如：腦控智能小車、機械臂、輪椅、仿人型機器人等外部設備[5]。這些試驗研究可用于幫助運動殘障人士控制外部設備或機器人，從而借助于外部設備改善其生活質量，同時相關研究也為正常人開辟了一條人腦與機器人直接關聯的道路。然而，在實際應用中，對于較復雜、需要不同操作系統協作的任務，難以借助單一機器人來完成，而且需要采用直接腦控的方法來進行協調控制，這就需要探究直接腦控多機器人協作(multi-robot cooperation，MRC)來完成任務，這是一個尚待探索的新課題[3]。

　　在直接腦控 MRC 任務中，為實現多機器人之間的靈活轉換與配合，腦開關的設計是一個需考慮的關鍵因素之一。所謂的腦開關是指通過檢測腦電信號中的特定特征并將其視為控制狀態，以確定系統的開啟或停止的一種控制模式[6]。不僅系統的起停需要用腦開關來控制，多機器人之間的靈活切換也需要腦開關來實現。同時，腦開關的引入還可以大大減少刺激界面中的目標個數，即相對提高指令識別率，可以更好地實現多機器人之間的靈活控制與相互配合。然而，腦開關存在一個重要問題，即其運算分析過程復雜，尚不夠簡便快捷。

　　此外，從實用性角度出發，在直接腦控 MRC 任務中，需要一種穩定、準確和快速的 BCI 系統。在已有的 BCI 范式中：基于運動想象的 BCI 可分類的類別數有限，單次識別率不高且不穩定，需要一定量的訓練，并存在 BCI 盲的缺陷，其傳輸的比特率也有限[7-8];基于事件相關電位 P300 的 BCI 雖然可分類目標數多，但往往需要多次疊加來識別，傳輸的比特率也有待提高[9];相比之下，基于穩態視覺誘發電位(steady-state visual evoked potentials， SSVEP)的 BCI(SSVEP-BCI)不僅可分類目標數多、單次識別率高、傳輸的比特率較高，而且所需訓練次數較少甚至無需訓練，整體效率明顯高于其他 BCI 范式，因此從實用性考慮，SSVEP-BCI 具備了優于其他 BCI 范式的優良特性，這也表明了其更符合腦控 MRC 任務的需要[10]。

　　為探求有效的腦控 MRC 方法，本文擬采用穩定性、準確性和快速性較好的 SSVEP-BCI 技術，利用性能優良的典型相關分析(canonical correlation analysis，CCA)算法，并創建多個一鍵式 SSVEP 腦開關，實現實時腦控 MRC 作業。本文致力于解決 BCI 面向實際應用中的復雜難題，并可望為未來實用化的腦控 MRC 任務系統提供啟發和思路。

　　1 材料和方法

　　1.1 受試者信息本文試驗共選取 10 名受試者，隨機編號為 S1～S10，其中 6 名男性、4 名女性，年齡介于 22～27 歲之間，健康狀況良好，視力正常(或矯正后正常)。試驗開始前，對每名受試者進行訓練，使其能熟記各指令內容并可達到靈活運用的程度。此外，還教授受試者 SSVEP 相關的理論知識以及注視屏幕的注意事項。所有受試者對試驗研究均知情同意，研究得到昆明理工大學學校道德委員會批準。

　　1.2 試驗方法設置

　　1.2.1 試驗研究平臺　如圖 1 所示為腦控 MRC 任務試驗研究平臺，包括人形機器人、機械臂、SSVEP 刺激呈現界面、計算機、視頻反饋裝置(Ipad)、腦電信號采集裝置。本試驗所用腦電信號采集裝置為 Neusen.W(32 通道，博睿康科技(常州)股份有限公司，中國)，由腦電帽、腦電信號放大器(無線)及無線路由器三部分構成。腦電帽導聯位置符合國際 10-20 標準，記錄電極為 Pz、P3、P4、PO3、 PO4、PO7、PO8、O1、Oz 和 O2，參考電極為 CPz，接地電極為 FPz;調整電極阻抗在 5 kΩ 以下，采樣頻率設置為 250 Hz。本試驗所用機器人包括機械臂(LSC-6，深圳市幻爾科技有限公司，中國)以及人形機器人(Super-M，北京智能佳科技有限公司，中國)。

　　1.2.2 試驗策略　試驗選用 SSVEP 觸發腦電信號的刺激范式，利用矩陣實驗室軟件 Matlab R2015a(MathWorks Inc.，美國)中 Psychtoolbox 工具箱實現。所用液晶顯示屏(呈現刺激界面)刷新頻率為 60 幀/s，如圖 2 所示，界面呈現的刺激目標為 12 個閃爍方塊，每個方塊有其特定閃爍頻率，對應的分別為：8、10、8.5、13、9、11、9.5、14、13.5、 10.5、15、12 Hz。

　　為有效完成腦控 MRC 任務，試驗對圖 2 中的 12 個刺激目標(閃爍方塊)分別設定對應的控制指令，如表 1 所示。人形機器人利用指令(包括 2 個腦開關指令)可以控制運動方向【左轉 45°、前進一步(5 cm)、右轉 45°、左跨一步(5 cm)、后退一步(5 cm)、右跨一步(5 cm)】以及執行特定動作(下蹲、起立)。其中，2 個腦開關指令為：① 總控制腦開關，用于控制整個試驗進程的開啟與停止;② 轉換腦開關，用于實現多機器人(控制對象)之間相互切換。機械臂利用指令(包括 1 個腦開關指令)可以實現整體左轉 45°、整體恢復中立、整體右轉 45°、后臂前傾 45°、后臂復位、中臂前傾 45°、中臂復位、前臂前傾 45°、前臂復位、手爪張開和手爪咬合等 11 個動作，其中腦開關指令為轉換腦開關，用于轉換控制對象。人形機器人和機械臂均采用藍牙與試驗研究平臺相連接。

　　在 SSVEP-BCI 的研究中，通常有同步和異步兩種控制方式。在同步方式下，受試者不能自己掌控試驗時間，必須以計算機/系統的控制節奏為導向，配合其執行操作。然而，人們在實際應用中往往需 要選擇自定節奏的控制方式，即異步方式，也就是說，在異步 SSVEP-BCI 系統中，受試者可以按照自己的意愿及控制需求，實現在線實時地對系統進行操作，其時間由自己掌握。本研究實現的是 MRC 任務，利用人形機器人與機械臂協同合作將貨物運送至指定地點，即需實現多機器人之間的相互合作，完成單個機器人不能完成的復雜任務。為使腦控 MRC 任務更為人性化并貼近實際應用，因此本研究采用異步 SSVEP-BCI 方式，受試者可自定節奏地對系統進行控制。在該方式中，采用在線異步刺激，即界面不間歇閃爍，無需觸發脈沖，時間窗長設定為 2 s，每 0.5 s 對數據進行一次分析得出最大相關系數，當最大相關系數大于(或等于)設定的閾值時，對應的指令被存儲為一個待定指令，當最大相關系數不滿足閾值條件時，將被存儲為一個空指令。這里采用三指令判定原則，即只有當存儲的 3 個連續的待定指令相同時，系統才會判定其為一個目標指令并輸出。由此可知，系統識別并輸出一個目標指令的時間為 1.5 s。

　　一般而言，閾值是在線異步 SSVEP-BCI 系統成熟的標志，是區分受試者處于任務狀態與非任務狀態的關鍵。在本研究中，當腦電信號經 CCA 算法處理后得出最大相關系數，首先會將其與閾值進行對比，若值大于(或等于)閾值，則系統認定受試者為任務狀態，那么最大相關系數對應的指令將被存儲為一個待定指令，若值沒有達到閾值標準，則系統認定受試者為非任務狀態，此時將存儲一個空指令。另外，本研究在既定試驗策略下對 SSVEP-BCI 系統調試發現，在閾值的選取范圍(0～1)內：當選取閾值為 0.5(或小于 0.5)時，系統會出現指令頻發的狀況且錯誤率偏高;當閾值為 0.7(或大于 0.7)時，雖然指令的錯誤率很低，但識別指令的時間會延長很多;只有當閾值為 0.6 時，能更好地滿足系統的要求，因此本文根據試驗調試將閾值設定為 0.6。

　　當識別指令后，系統會播報語音(“滴”聲后報出具體指令/動作)，受試者在“滴”聲后應立即停止注視，觀察反饋視頻中機器人動作，進而規劃下一個指令的實施，此處“滴”聲持續時間約 0.2 s。另外，為防止指令連發，以及考慮到機器人執行指令所需時間，系統設定為輸出一個目標指令后，停止 1 s 接收指令數據。

　　此外，本研究中引入了實時視頻反饋環節，在刺激屏幕下方增加一個顯示屏，實時反饋 MRC 任務的執行情況，受試者可根據現場情況自行調整路線及控制策略，該實時視頻反饋有助于受試者完成腦控 MRC 任務。

　　1.3 腦開關的設計

　　用腦電信號控制的開關在 BCI 中具有重要的作用及意義[11-12]。本試驗旨在探索腦控 MRC 任務，為貼合實際應用，符合未來用戶對 MRC 任務的需求，實現多機器人之間控制的相互轉換，特設計出兩個實用、便捷且易實現的腦開關，即一鍵式 SSVEP 腦開關切換，包括：總控制腦開關與轉換腦開關。兩個開關均為基于 SSVEP 設置的，當受試者注視屏幕上對應的腦開關閃爍方塊時，其腦電信號中會出現與刺激相應的頻率成分或倍頻成分，通過計算機對受試者腦電信號分析，可以識別出相對應的腦開關指令，進而有效控制完成 MRC 任務。

　　總控制腦開關控制整個試驗的開始和結束，識別成功后，系統語音播報“試驗開始/試驗結束”，且只有在試驗開始后，受試者才可以對任務系統進行試驗操作。而在試驗開始前及結束后，系統只能識別總開關指令，不接收其余指令。此腦開關的設計不僅可大大減少對系統的誤操作，而且使得受試者掌握了試驗的主控權，可以自主地控制試驗流程。

　　轉換腦開關用于轉換控制對象，識別成功后自動切換控制對象，系統語音播報“機器人/機械臂”提醒受試者停止注視刺激目標。轉換腦開關的設計使得受試者可隨意在多機器人之間跳轉，實現對每個控制對象的靈活控制，其過程更加人性化，也更貼近于實際應用。

　　綜上所述，本研究設計的兩個腦開關不僅可以 “隨心所欲”地控制試驗進程，還可以實現多機器人之間穩定、準確和快速的切換，使得腦控 MRC 任務更為方便、可靠和高效。

　　4 結束

　　語本文針對直接腦控 MRC 任務這一新課題進行試驗研究。為實現這一任務，選用穩定性好、準確性高和反應靈敏的多指令 SSVEP-BCI 范式，并采用性能優良的 CCA 算法識別目標刺激;為面向實際應用，采用異步方式的 SSVEP-BCI，以方便受試者自定節奏進行腦控機器人操作;為確保系統的安全、可靠性以及機器人之間的協作性，設置了兩個一鍵式 SSVEP 腦開關：① 是總控制腦開關，以控制系統的啟動/停止;② 是轉換腦開關(切換控制對象)，以在機器人之間靈活切換。本試驗研究表明了直接腦控 MRC 任務的可行性，所提方法可望為未來實用化的腦控 MRC 任務系統提供啟示。

　　在本研究的基礎上，本課題組計劃未來可開展：① 采用混合 BCI 范式設計新的控制策略，如有效結合 SSVEP 與運動想像范式，進一步提高腦控 MRC 任務系統的性能;② 尋找并優化更為高效SVEP 刺激范式，減輕受試者的視覺疲勞，提高其舒適度。

　　注：世界機器人大賽 BCI 腦控機器人大賽獲獎情況說明(“創新創意獎”) http://www.worldrobotconference.com/cn/yqs/B CInaokongjiqirendasai/

　　參考文獻

　　1、Mcfarland D J, Vaughan T M. BCI in practice. Prog Brain Res, 2016, 228: 389-404.

　　2、 王行愚, 金晶, 張宇, 等. 腦控:基于腦-機接口的人機融合控制. 自動化學報, 2013, 39(3): 208-221.

　　3、 伏云發, 王越超, 李洪誼, 等. 直接腦控機器人接口技術. 自動化學報, 2012, 38(8): 1229-1246.

　　4、 明東, 蔣晟龍, 王忠鵬, 等. 基于人機信息交互的助行外骨骼機器人技術進展. 自動化學報, 2017, 43(7): 1089-1100.

　　5、 李松, 熊馨, 伏云發. 基于腦電信號神經反饋控制智能小車的研究. 生物醫學工程學雜志, 2018, 35(1): 15-24.

　　6、 He Shenghong, Zhang Rui, Wang Qihong, et al. A P300-based threshold-free brain switch and its application in wheelchair control. IEEE Trans Neural Syst Rehabil Eng, 2017, 25(6): 715-725.

　　7、 李松, 伏云發, 楊秋紅, 等. 基于左右手運動想象單通道腦電信號的預處理研究. 生物醫學工程學雜志, 2016, 33(5): 862-866.

　　8、堯德中, 劉鐵軍, 雷旭, 等. 基于腦電的腦-機接口:關鍵技術和應用前景. 電子科技大學學報, 2009, 38(5): 550-554.

　　相關論文推薦：淺析中小學智能機器人教育