直接腦控多機(jī)器人協(xié)作任務(wù)研究

　　【摘要】 腦控是一種新的控制方法。傳統(tǒng)腦控機(jī)器人主要是控制單個(gè)機(jī)器人完成特定任務(wù)，而腦控多機(jī)器人協(xié)作(MRC)任務(wù)是一個(gè)有待研究的新課題。本文介紹了參加世界機(jī)器人大賽“腦—機(jī)接口(BCI)腦控機(jī)器人比賽”獲得“創(chuàng)新創(chuàng)意獎(jiǎng)”的一個(gè)試驗(yàn)研究，試驗(yàn)設(shè)置了 2 個(gè)腦開關(guān)，采用基于穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)的 BCI(SSVEP-BCI)控制人形機(jī)器人和機(jī)械臂完成協(xié)作任務(wù)。通過 10 名受試者的控制試驗(yàn)結(jié)果表明，通過適當(dāng)設(shè)置腦開關(guān)，采用性能優(yōu)良的 SSVEP-BCI 能夠?qū)崿F(xiàn) MRC 任務(wù)的有效完成。本研究可望為未來實(shí)用化的腦控 MRC 任務(wù)系統(tǒng)的研究提供啟發(fā)。

　　【關(guān)鍵詞】 腦控;腦—機(jī)器人交互;多機(jī)器人協(xié)作;腦開關(guān);穩(wěn)態(tài)視覺誘發(fā)電位

　　引言

　　腦控是一種新的控制方法，而直接腦控機(jī)器人是腦控與機(jī)器人控制交叉融合的一個(gè)重要應(yīng)用[1-3]?？茖W(xué)家和工程學(xué)家已認(rèn)識(shí)到，腦—機(jī)器人交互是一種新型的人—機(jī)交互技術(shù)，可能通過腦—機(jī)接口(brain-computer interface，BCI)架起人腦生物智能與機(jī)器智能之間的橋梁[4]。這方面的探索研究不僅具有重要的腦科學(xué)意義，也具有潛在的應(yīng)用前景。

　　通常，傳統(tǒng)的腦控機(jī)器人主要集中于腦控單個(gè)機(jī)器人來完成特定任務(wù)，例如：腦控智能小車、機(jī)械臂、輪椅、仿人型機(jī)器人等外部設(shè)備[5]。這些試驗(yàn)研究可用于幫助運(yùn)動(dòng)殘障人士控制外部設(shè)備或機(jī)器人，從而借助于外部設(shè)備改善其生活質(zhì)量，同時(shí)相關(guān)研究也為正常人開辟了一條人腦與機(jī)器人直接關(guān)聯(lián)的道路。然而，在實(shí)際應(yīng)用中，對于較復(fù)雜、需要不同操作系統(tǒng)協(xié)作的任務(wù)，難以借助單一機(jī)器人來完成，而且需要采用直接腦控的方法來進(jìn)行協(xié)調(diào)控制，這就需要探究直接腦控多機(jī)器人協(xié)作(multi-robot cooperation，MRC)來完成任務(wù)，這是一個(gè)尚待探索的新課題[3]。

　　在直接腦控 MRC 任務(wù)中，為實(shí)現(xiàn)多機(jī)器人之間的靈活轉(zhuǎn)換與配合，腦開關(guān)的設(shè)計(jì)是一個(gè)需考慮的關(guān)鍵因素之一。所謂的腦開關(guān)是指通過檢測腦電信號(hào)中的特定特征并將其視為控制狀態(tài)，以確定系統(tǒng)的開啟或停止的一種控制模式[6]。不僅系統(tǒng)的起停需要用腦開關(guān)來控制，多機(jī)器人之間的靈活切換也需要腦開關(guān)來實(shí)現(xiàn)。同時(shí)，腦開關(guān)的引入還可以大大減少刺激界面中的目標(biāo)個(gè)數(shù)，即相對提高指令識(shí)別率，可以更好地實(shí)現(xiàn)多機(jī)器人之間的靈活控制與相互配合。然而，腦開關(guān)存在一個(gè)重要問題，即其運(yùn)算分析過程復(fù)雜，尚不夠簡便快捷。

　　此外，從實(shí)用性角度出發(fā)，在直接腦控 MRC 任務(wù)中，需要一種穩(wěn)定、準(zhǔn)確和快速的 BCI 系統(tǒng)。在已有的 BCI 范式中：基于運(yùn)動(dòng)想象的 BCI 可分類的類別數(shù)有限，單次識(shí)別率不高且不穩(wěn)定，需要一定量的訓(xùn)練，并存在 BCI 盲的缺陷，其傳輸?shù)谋忍芈室灿邢轠7-8];基于事件相關(guān)電位 P300 的 BCI 雖然可分類目標(biāo)數(shù)多，但往往需要多次疊加來識(shí)別，傳輸?shù)谋忍芈室灿写岣遊9];相比之下，基于穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potentials， SSVEP)的 BCI(SSVEP-BCI)不僅可分類目標(biāo)數(shù)多、單次識(shí)別率高、傳輸?shù)谋忍芈瘦^高，而且所需訓(xùn)練次數(shù)較少甚至無需訓(xùn)練，整體效率明顯高于其他 BCI 范式，因此從實(shí)用性考慮，SSVEP-BCI 具備了優(yōu)于其他 BCI 范式的優(yōu)良特性，這也表明了其更符合腦控 MRC 任務(wù)的需要[10]。

　　為探求有效的腦控 MRC 方法，本文擬采用穩(wěn)定性、準(zhǔn)確性和快速性較好的 SSVEP-BCI 技術(shù)，利用性能優(yōu)良的典型相關(guān)分析(canonical correlation analysis，CCA)算法，并創(chuàng)建多個(gè)一鍵式 SSVEP 腦開關(guān)，實(shí)現(xiàn)實(shí)時(shí)腦控 MRC 作業(yè)。本文致力于解決 BCI 面向?qū)嶋H應(yīng)用中的復(fù)雜難題，并可望為未來實(shí)用化的腦控 MRC 任務(wù)系統(tǒng)提供啟發(fā)和思路。

　　1 材料和方法

　　1.1 受試者信息本文試驗(yàn)共選取 10 名受試者，隨機(jī)編號(hào)為 S1～S10，其中 6 名男性、4 名女性，年齡介于 22～27 歲之間，健康狀況良好，視力正常(或矯正后正常)。試驗(yàn)開始前，對每名受試者進(jìn)行訓(xùn)練，使其能熟記各指令內(nèi)容并可達(dá)到靈活運(yùn)用的程度。此外，還教授受試者 SSVEP 相關(guān)的理論知識(shí)以及注視屏幕的注意事項(xiàng)。所有受試者對試驗(yàn)研究均知情同意，研究得到昆明理工大學(xué)學(xué)校道德委員會(huì)批準(zhǔn)。

　　1.2 試驗(yàn)方法設(shè)置

　　1.2.1 試驗(yàn)研究平臺(tái)　如圖 1 所示為腦控 MRC 任務(wù)試驗(yàn)研究平臺(tái)，包括人形機(jī)器人、機(jī)械臂、SSVEP 刺激呈現(xiàn)界面、計(jì)算機(jī)、視頻反饋裝置(Ipad)、腦電信號(hào)采集裝置。本試驗(yàn)所用腦電信號(hào)采集裝置為 Neusen.W(32 通道，博?？悼萍?常州)股份有限公司，中國)，由腦電帽、腦電信號(hào)放大器(無線)及無線路由器三部分構(gòu)成。腦電帽導(dǎo)聯(lián)位置符合國際 10-20 標(biāo)準(zhǔn)，記錄電極為 Pz、P3、P4、PO3、 PO4、PO7、PO8、O1、Oz 和 O2，參考電極為 CPz，接地電極為 FPz;調(diào)整電極阻抗在 5 kΩ 以下，采樣頻率設(shè)置為 250 Hz。本試驗(yàn)所用機(jī)器人包括機(jī)械臂(LSC-6，深圳市幻爾科技有限公司，中國)以及人形機(jī)器人(Super-M，北京智能佳科技有限公司，中國)。

　　1.2.2 試驗(yàn)策略　試驗(yàn)選用 SSVEP 觸發(fā)腦電信號(hào)的刺激范式，利用矩陣實(shí)驗(yàn)室軟件 Matlab R2015a(MathWorks Inc.，美國)中 Psychtoolbox 工具箱實(shí)現(xiàn)。所用液晶顯示屏(呈現(xiàn)刺激界面)刷新頻率為 60 幀/s，如圖 2 所示，界面呈現(xiàn)的刺激目標(biāo)為 12 個(gè)閃爍方塊，每個(gè)方塊有其特定閃爍頻率，對應(yīng)的分別為：8、10、8.5、13、9、11、9.5、14、13.5、 10.5、15、12 Hz。

　　為有效完成腦控 MRC 任務(wù)，試驗(yàn)對圖 2 中的 12 個(gè)刺激目標(biāo)(閃爍方塊)分別設(shè)定對應(yīng)的控制指令，如表 1 所示。人形機(jī)器人利用指令(包括 2 個(gè)腦開關(guān)指令)可以控制運(yùn)動(dòng)方向【左轉(zhuǎn) 45°、前進(jìn)一步(5 cm)、右轉(zhuǎn) 45°、左跨一步(5 cm)、后退一步(5 cm)、右跨一步(5 cm)】以及執(zhí)行特定動(dòng)作(下蹲、起立)。其中，2 個(gè)腦開關(guān)指令為：① 總控制腦開關(guān)，用于控制整個(gè)試驗(yàn)進(jìn)程的開啟與停止;② 轉(zhuǎn)換腦開關(guān)，用于實(shí)現(xiàn)多機(jī)器人(控制對象)之間相互切換。機(jī)械臂利用指令(包括 1 個(gè)腦開關(guān)指令)可以實(shí)現(xiàn)整體左轉(zhuǎn) 45°、整體恢復(fù)中立、整體右轉(zhuǎn) 45°、后臂前傾 45°、后臂復(fù)位、中臂前傾 45°、中臂復(fù)位、前臂前傾 45°、前臂復(fù)位、手爪張開和手爪咬合等 11 個(gè)動(dòng)作，其中腦開關(guān)指令為轉(zhuǎn)換腦開關(guān)，用于轉(zhuǎn)換控制對象。人形機(jī)器人和機(jī)械臂均采用藍(lán)牙與試驗(yàn)研究平臺(tái)相連接。

　　在 SSVEP-BCI 的研究中，通常有同步和異步兩種控制方式。在同步方式下，受試者不能自己掌控試驗(yàn)時(shí)間，必須以計(jì)算機(jī)/系統(tǒng)的控制節(jié)奏為導(dǎo)向，配合其執(zhí)行操作。然而，人們在實(shí)際應(yīng)用中往往需 要選擇自定節(jié)奏的控制方式，即異步方式，也就是說，在異步 SSVEP-BCI 系統(tǒng)中，受試者可以按照自己的意愿及控制需求，實(shí)現(xiàn)在線實(shí)時(shí)地對系統(tǒng)進(jìn)行操作，其時(shí)間由自己掌握。本研究實(shí)現(xiàn)的是 MRC 任務(wù)，利用人形機(jī)器人與機(jī)械臂協(xié)同合作將貨物運(yùn)送至指定地點(diǎn)，即需實(shí)現(xiàn)多機(jī)器人之間的相互合作，完成單個(gè)機(jī)器人不能完成的復(fù)雜任務(wù)。為使腦控 MRC 任務(wù)更為人性化并貼近實(shí)際應(yīng)用，因此本研究采用異步 SSVEP-BCI 方式，受試者可自定節(jié)奏地對系統(tǒng)進(jìn)行控制。在該方式中，采用在線異步刺激，即界面不間歇閃爍，無需觸發(fā)脈沖，時(shí)間窗長設(shè)定為 2 s，每 0.5 s 對數(shù)據(jù)進(jìn)行一次分析得出最大相關(guān)系數(shù)，當(dāng)最大相關(guān)系數(shù)大于(或等于)設(shè)定的閾值時(shí)，對應(yīng)的指令被存儲(chǔ)為一個(gè)待定指令，當(dāng)最大相關(guān)系數(shù)不滿足閾值條件時(shí)，將被存儲(chǔ)為一個(gè)空指令。這里采用三指令判定原則，即只有當(dāng)存儲(chǔ)的 3 個(gè)連續(xù)的待定指令相同時(shí)，系統(tǒng)才會(huì)判定其為一個(gè)目標(biāo)指令并輸出。由此可知，系統(tǒng)識(shí)別并輸出一個(gè)目標(biāo)指令的時(shí)間為 1.5 s。

　　一般而言，閾值是在線異步 SSVEP-BCI 系統(tǒng)成熟的標(biāo)志，是區(qū)分受試者處于任務(wù)狀態(tài)與非任務(wù)狀態(tài)的關(guān)鍵。在本研究中，當(dāng)腦電信號(hào)經(jīng) CCA 算法處理后得出最大相關(guān)系數(shù)，首先會(huì)將其與閾值進(jìn)行對比，若值大于(或等于)閾值，則系統(tǒng)認(rèn)定受試者為任務(wù)狀態(tài)，那么最大相關(guān)系數(shù)對應(yīng)的指令將被存儲(chǔ)為一個(gè)待定指令，若值沒有達(dá)到閾值標(biāo)準(zhǔn)，則系統(tǒng)認(rèn)定受試者為非任務(wù)狀態(tài)，此時(shí)將存儲(chǔ)一個(gè)空指令。另外，本研究在既定試驗(yàn)策略下對 SSVEP-BCI 系統(tǒng)調(diào)試發(fā)現(xiàn)，在閾值的選取范圍(0～1)內(nèi)：當(dāng)選取閾值為 0.5(或小于 0.5)時(shí)，系統(tǒng)會(huì)出現(xiàn)指令頻發(fā)的狀況且錯(cuò)誤率偏高;當(dāng)閾值為 0.7(或大于 0.7)時(shí)，雖然指令的錯(cuò)誤率很低，但識(shí)別指令的時(shí)間會(huì)延長很多;只有當(dāng)閾值為 0.6 時(shí)，能更好地滿足系統(tǒng)的要求，因此本文根據(jù)試驗(yàn)調(diào)試將閾值設(shè)定為 0.6。

　　當(dāng)識(shí)別指令后，系統(tǒng)會(huì)播報(bào)語音(“滴”聲后報(bào)出具體指令/動(dòng)作)，受試者在“滴”聲后應(yīng)立即停止注視，觀察反饋視頻中機(jī)器人動(dòng)作，進(jìn)而規(guī)劃下一個(gè)指令的實(shí)施，此處“滴”聲持續(xù)時(shí)間約 0.2 s。另外，為防止指令連發(fā)，以及考慮到機(jī)器人執(zhí)行指令所需時(shí)間，系統(tǒng)設(shè)定為輸出一個(gè)目標(biāo)指令后，停止 1 s 接收指令數(shù)據(jù)。

　　此外，本研究中引入了實(shí)時(shí)視頻反饋環(huán)節(jié)，在刺激屏幕下方增加一個(gè)顯示屏，實(shí)時(shí)反饋 MRC 任務(wù)的執(zhí)行情況，受試者可根據(jù)現(xiàn)場情況自行調(diào)整路線及控制策略，該實(shí)時(shí)視頻反饋有助于受試者完成腦控 MRC 任務(wù)。

　　1.3 腦開關(guān)的設(shè)計(jì)

　　用腦電信號(hào)控制的開關(guān)在 BCI 中具有重要的作用及意義[11-12]。本試驗(yàn)旨在探索腦控 MRC 任務(wù)，為貼合實(shí)際應(yīng)用，符合未來用戶對 MRC 任務(wù)的需求，實(shí)現(xiàn)多機(jī)器人之間控制的相互轉(zhuǎn)換，特設(shè)計(jì)出兩個(gè)實(shí)用、便捷且易實(shí)現(xiàn)的腦開關(guān)，即一鍵式 SSVEP 腦開關(guān)切換，包括：總控制腦開關(guān)與轉(zhuǎn)換腦開關(guān)。兩個(gè)開關(guān)均為基于 SSVEP 設(shè)置的，當(dāng)受試者注視屏幕上對應(yīng)的腦開關(guān)閃爍方塊時(shí)，其腦電信號(hào)中會(huì)出現(xiàn)與刺激相應(yīng)的頻率成分或倍頻成分，通過計(jì)算機(jī)對受試者腦電信號(hào)分析，可以識(shí)別出相對應(yīng)的腦開關(guān)指令，進(jìn)而有效控制完成 MRC 任務(wù)。

　　總控制腦開關(guān)控制整個(gè)試驗(yàn)的開始和結(jié)束，識(shí)別成功后，系統(tǒng)語音播報(bào)“試驗(yàn)開始/試驗(yàn)結(jié)束”，且只有在試驗(yàn)開始后，受試者才可以對任務(wù)系統(tǒng)進(jìn)行試驗(yàn)操作。而在試驗(yàn)開始前及結(jié)束后，系統(tǒng)只能識(shí)別總開關(guān)指令，不接收其余指令。此腦開關(guān)的設(shè)計(jì)不僅可大大減少對系統(tǒng)的誤操作，而且使得受試者掌握了試驗(yàn)的主控權(quán)，可以自主地控制試驗(yàn)流程。

　　轉(zhuǎn)換腦開關(guān)用于轉(zhuǎn)換控制對象，識(shí)別成功后自動(dòng)切換控制對象，系統(tǒng)語音播報(bào)“機(jī)器人/機(jī)械臂”提醒受試者停止注視刺激目標(biāo)。轉(zhuǎn)換腦開關(guān)的設(shè)計(jì)使得受試者可隨意在多機(jī)器人之間跳轉(zhuǎn)，實(shí)現(xiàn)對每個(gè)控制對象的靈活控制，其過程更加人性化，也更貼近于實(shí)際應(yīng)用。

　　綜上所述，本研究設(shè)計(jì)的兩個(gè)腦開關(guān)不僅可以 “隨心所欲”地控制試驗(yàn)進(jìn)程，還可以實(shí)現(xiàn)多機(jī)器人之間穩(wěn)定、準(zhǔn)確和快速的切換，使得腦控 MRC 任務(wù)更為方便、可靠和高效。

　　4 結(jié)束

　　語本文針對直接腦控 MRC 任務(wù)這一新課題進(jìn)行試驗(yàn)研究。為實(shí)現(xiàn)這一任務(wù)，選用穩(wěn)定性好、準(zhǔn)確性高和反應(yīng)靈敏的多指令 SSVEP-BCI 范式，并采用性能優(yōu)良的 CCA 算法識(shí)別目標(biāo)刺激;為面向?qū)嶋H應(yīng)用，采用異步方式的 SSVEP-BCI，以方便受試者自定節(jié)奏進(jìn)行腦控機(jī)器人操作;為確保系統(tǒng)的安全、可靠性以及機(jī)器人之間的協(xié)作性，設(shè)置了兩個(gè)一鍵式 SSVEP 腦開關(guān)：① 是總控制腦開關(guān)，以控制系統(tǒng)的啟動(dòng)/停止;② 是轉(zhuǎn)換腦開關(guān)(切換控制對象)，以在機(jī)器人之間靈活切換。本試驗(yàn)研究表明了直接腦控 MRC 任務(wù)的可行性，所提方法可望為未來實(shí)用化的腦控 MRC 任務(wù)系統(tǒng)提供啟示。

　　在本研究的基礎(chǔ)上，本課題組計(jì)劃未來可開展：① 采用混合 BCI 范式設(shè)計(jì)新的控制策略，如有效結(jié)合 SSVEP 與運(yùn)動(dòng)想像范式，進(jìn)一步提高腦控 MRC 任務(wù)系統(tǒng)的性能;② 尋找并優(yōu)化更為高效SVEP 刺激范式，減輕受試者的視覺疲勞，提高其舒適度。

　　注：世界機(jī)器人大賽 BCI 腦控機(jī)器人大賽獲獎(jiǎng)情況說明(“創(chuàng)新創(chuàng)意獎(jiǎng)”) http://www.worldrobotconference.com/cn/yqs/B CInaokongjiqirendasai/

　　參考文獻(xiàn)

　　1、Mcfarland D J, Vaughan T M. BCI in practice. Prog Brain Res, 2016, 228: 389-404.

　　2、 王行愚, 金晶, 張宇, 等. 腦控:基于腦-機(jī)接口的人機(jī)融合控制. 自動(dòng)化學(xué)報(bào), 2013, 39(3): 208-221.

　　3、 伏云發(fā), 王越超, 李洪誼, 等. 直接腦控機(jī)器人接口技術(shù). 自動(dòng)化學(xué)報(bào), 2012, 38(8): 1229-1246.

　　4、 明東, 蔣晟龍, 王忠鵬, 等. 基于人機(jī)信息交互的助行外骨骼機(jī)器人技術(shù)進(jìn)展. 自動(dòng)化學(xué)報(bào), 2017, 43(7): 1089-1100.

　　5、 李松, 熊馨, 伏云發(fā). 基于腦電信號(hào)神經(jīng)反饋控制智能小車的研究. 生物醫(yī)學(xué)工程學(xué)雜志, 2018, 35(1): 15-24.

　　6、 He Shenghong, Zhang Rui, Wang Qihong, et al. A P300-based threshold-free brain switch and its application in wheelchair control. IEEE Trans Neural Syst Rehabil Eng, 2017, 25(6): 715-725.

　　7、 李松, 伏云發(fā), 楊秋紅, 等. 基于左右手運(yùn)動(dòng)想象單通道腦電信號(hào)的預(yù)處理研究. 生物醫(yī)學(xué)工程學(xué)雜志, 2016, 33(5): 862-866.

　　8、堯德中, 劉鐵軍, 雷旭, 等. 基于腦電的腦-機(jī)接口:關(guān)鍵技術(shù)和應(yīng)用前景. 電子科技大學(xué)學(xué)報(bào), 2009, 38(5): 550-554.

　　相關(guān)論文推薦：淺析中小學(xué)智能機(jī)器人教育

《直接腦控多機(jī)器人協(xié)作任務(wù)研究》

上一篇：淺析沈陽地鐵綜合監(jiān)控系統(tǒng)

下一篇：計(jì)算機(jī)應(yīng)用技術(shù)創(chuàng)新發(fā)展面臨的問題及解決措施