友快網

導航選單

腦機介面,四大關鍵技術讓科幻走進現實

腦科學問題是人類社會面臨的基礎科學問題之一,是人類理解自然和理解人類本身的待深入探索領域,而腦機介面是有效探索手段之一。在國家戰略的積極推動下,在科技創新不斷更迭促進下,在人民大眾期待關注下,腦機介面技術將發揮重要作用。

本期的智慧內參,我們推薦中國信通院的報告《腦機介面總體願景與關鍵技術研究報告》,勾畫腦機介面產業發展的藍圖和願景期望。

大腦是我們思想、情感、感知、行動和記憶的源泉,大腦的複雜性賦予我們人類智慧,同時使我們每個人都獨一無二。近年來,研究大腦認知的神經科學已經在分子細胞、關鍵元器件、軟硬體開發、應用系統、儀器儀表等多方面取得進展和突破,使得腦機介面產業的商業應用逐漸成為可能。

腦機介面是指在有機生命形式的腦與具有處理或計算能力的裝置之間,建立用於資訊交換的連線通路,實現資訊交換及控制。

腦機介面已成全球科技前沿熱點,在面向未來的科技創新發展中佔有重要地位。世界主要國家和地區都在加快腦機介面產業佈局,積極開展相關技術研發。腦機介面技術也將帶動和引發其他技術的未來發展。

腦機介面技術是人與機器、人與人工智慧互動的終極手段,也是連線數字虛擬世界和現實物理世界的核心基礎支撐技術之一,同時其與量子計算、雲計算、大資料等資訊通訊(ICT)技術的結合將成為各領域新的重要研究方向。可以確定地說,受益於技術的不斷革新與突破,腦機介面將會顯著提升人類生活質量。

腦科學問題是人類社會面臨的基礎科學問題之一,是人類理解自然和人類本身的“終極疆域”,而腦機介面是破解該“終極疆域”的有效手段之一。在國家戰略的積極推動下,在科技創新不斷更迭促進下,在人民大眾期待關注下,腦機介面技術將發揮重要作用。腦機介面技術涉及腦科學、人工智慧技術、資訊通訊技術、電子資訊科技和材料學。

未來的腦機介面技術,應實現“腦智芯連,思行無礙”這一行業發展總體願景。其中,“腦”寓意為大腦和思維意圖,“智”寓意為人工智慧和類腦智慧,“芯”寓意為以晶片為代表的外部裝置,“連”有通訊、介面、協同三重含義。透過“腦智芯連”的科學融合,實現“思行無礙”的目標,即期待大腦及人類智慧和外部裝置相互連線後,人類的思想和行為控制之間,不再有疾病和空間的障礙;人類的能力得到顯著增強,不再承受神經疾病帶來的痛苦。

為促進“腦智芯連,思行無礙”這一願景目標的實現,報告提出腦機介面系統應滿足“準確、高效、穩定、易用和安全”五大需求。腦機介面系統應具有準確的大腦意圖解碼演算法;高效的資訊解碼效率,快速地反饋響應和執行任務;穩定的裝置效能與抗干擾能力;易用、輕便、舒適的使用體驗;安全的植入、採集和資訊傳送保障。

▲腦機介面系統的五大需求支撐願景實現

腦機介面應從效能指標與可用性指標兩個方面有效衡量腦機介面系統是否滿足五大需求。效能指標主要體現在響應時間、識別正確率、可輸出指令數量和菲茨吞吐量四個易量化指標;可用性指標主要體現在易用性、長效性、魯棒性、安全性和互操作性五個指標。這些指標在不同技術路線下、不同應用場景下的需求各有差異,但基本涵蓋了腦機介面技術和系統各方面要求。經過分析和產業調研,報告也給出了為促進願景目標實現的各指標的建議值,從而為業界的技術創新和系統開發提供一定的參考。

▲腦機介面系統的關鍵指標

腦機介面總體願景的實現也離不開核心關鍵技術的支撐。關鍵技術包括採集技術、刺激技術、正規化編碼技術和解碼演算法技術。關鍵技術面向不同場景衍生出不同應用。本報告就當前主流應用場景進行歸納並分為三類,分別是腦狀態檢測、神經調控和對外互動技術等。

準確:在腦疾病診斷、行為輔助決策、外設互動控制等應用場景下,共性需求是系統能穩定做出識別正確率較高的判斷,即系統虛警機率低,識別精確,這樣外部計算裝置才能對大腦的需求正確反饋。識別正確率是系統核心需求之一。

高效:腦機介面技術產業發展和應用一個重要前提就是高效,最好能夠達到和肢體響應一樣甚至更快的效率,實現人機快速響應。指令互動、打字、控制機械外骨骼等應用場景下如出現秒級延誤則給使用者體驗帶來較為負面的影響。這要求系統快速解碼識別大腦意圖並做出反饋,響應時間是衡量快速響應的核心關鍵指標。系統快速響應效能,需要正規化編碼、演算法解碼和系統通訊技術相互配合。在實際應用落地過程中,也應兼顧“快”、“準”、“穩”等方面協同發展。

穩定:腦機介面本質上是一套通訊系統,在不同的應用場景下,都需要考慮系統各項指標的穩定和抗干擾能力,即系統的長效性和魯棒性。長效性是指系統需要保持長期效能穩定。系統能在較長時間內各項效能指標不出現較大波動。魯棒性是指系統在一定的外部干擾情況下,依然能夠保持穩定的工作效能指標。在植入式腦機介面應用場景中,由於電極易於失效,系統更側重長效性指標;而在非植入式場景,由於訊號易受干擾,更加側重系統魯棒性。

易用:易用包含“輕便”與“便捷”兩個含義。“輕便”在非植入情形下指腦機介面系統輕巧便於攜帶,在植入情形下指植入物尺寸小、重量輕。沉重的腦機介面系統一方面可能導致使用者接觸時造成身體壓迫,產生不適感,不利於長期使用。另一方面不利於外出攜帶,難以採集大範圍的腦訊號,從而難以實現更廣泛的場景應用。

“便捷”是指腦機介面系統具有操作便捷性。一方面需要降低使用者的操作複雜性,避免複雜的除錯和維護等工作。尤其是在消費場景下,有必要儘量縮短裝置部署時間、人機適應時間,實現快速互動。這就需要儘量減少和壓縮模型訓練時長,除錯時長,從而提升使用者對產品的接受度。另一方面普及無線訊號傳輸,擺脫有線束縛,使用起來更加方便。此外,可考慮與智慧外設,如智慧耳機等終端裝置進行系統化設計,提升使用的舒適性、便攜性。

安全:腦機介面系統作為一種人機互動系統,在安全方面要考慮的因素包括:系統需要在軟體和硬體方面,能有效防禦外部惡意攻擊,避免資料被竊或惡意篡改,系統需要內建一定的安全自檢機制;在機制和制度保障方面,需要有合法合規的資訊與科技倫理制度、法規、倡議、指南和標準,確保神經隱私與神經權利不受侵犯,保障系統使用者的人身健康安全。

對植入式腦機介面系統來說,在電極材料選擇上要考慮散熱效能、要確保植入後人體安全,需要對植入物的質量、形狀、功耗和應用場合進行限定,以避免損害生物組織。對於非植入式腦機介面技術來說,不當的使用方法可能存在潛在的人身安全隱患,需要對腦機介面系統的使用安全性做嚴格要求。

目前腦機介面技術正從“學術科學探索”走向“應用轉化落地”。為推進產業落地工作的開展,本報告從效能和可用性兩方面提出滿足五大需求的腦機介面系統關鍵指標。效能指標包括響應時間、識別正確率、可輸出指令數量和菲茨吞吐量,可用性指標包括易用性、長效性、魯棒性、安全性和互操作性。易用性指標進一步透過準備時長、輕便性和舒適性體現。

▲腦機介面系統的關鍵指標

效能指標:在腦機介面研究中,往往以資訊傳輸速率(Information transfer rate,ITR)作指標評價系統的效能。ITR 的大小與系統的響應時間、識別正確率與可輸出指令數量相關,是一項綜合反映腦機介面系統多方面效能的指標。但僅以 ITR 作為效能指標,很多時候無法體現響應時間、識別正確率與可輸出指令數量分項指標各自的重要性,甚至可能導致某項關鍵指標被忽視。因此本報告在分析系統性能指標時,從響應時間、識別正確率、可輸出指令數量和菲茨吞吐量四個方面,綜合評估描述腦機介面系統應具備的效能。

響應時間是指腦機介面系統對使用者單次腦意圖響應所需的時長,具體包括單次響應所需的訊號採集時長、腦資訊解碼時長(又稱計算時長)和系統通訊時長三部分。其中,所需的訊號採集時長指腦機介面系統採集解碼用生理訊號所需要的時長。腦資訊解碼時長是指系統對所採信號進行解碼以理解使用者意圖所需的時長。系統通訊時長是資料包在系統各模組間傳遞的時延。響應時間可以有效反映腦機介面系統的通訊效率,也是反映人機互動順暢與否的核心關鍵指標。在不同正規化、應用場景下,系統響應時間差異較大。對於頭皮腦電(Electroencephalograph,EEG)、皮層腦電圖(Electrocorticogram,ECoG)

等實時性較高的電訊號採集系統來說,比較理想的響應時間是:在腦狀態檢測場景下建議不大於 10 秒,在神經調控場景和對外互動場景下建議不大於 1 秒。對於以功能近紅外光譜(Functional near-infrared spectroscopy, fNIRS)為代表的訊號採集系統來說,由於血流動力學引數變化較觸發事件具有滯後性,因此此類系統的互動響應時間較長。

識別正確率是指腦機介面系統為識別人腦意圖進行解碼的正確率,該指標是衡量系統性能的核心指標。在腦機打字、腦控機器人等特定場景下,識別正確率經常用任務成功率表示。任務成功率是指成功完成控制任務的次數和控制任務執行總次數之間的比值。比較理想的識別正確率在腦狀態檢測場景下不應小於 85%,在神經調控場景下不應小於 95%,在對外互動場景下不應小於 95%。對腦機介面離線資料進行調參時,往往因為樣本量較小而容易造成模型的過擬合。為驗證腦機介面系統的泛化性,本報告中的識別正確率建議由實時線上驗證實驗所得。

可輸出指令數量即腦機介面系統可以解碼的腦意圖種類,該指標可反映系統的互動能力。可輸出的指令數越多反映系統可解碼的大腦意識越豐富、可執行任務的行為越豐富。因此在睡眠檢測、情緒識別、腦機打字等場景下,可輸出指令數量對評價系統性能具有較高參考價值。從理想值看,睡眠檢測場景下建議檢出睡眠種類不應小於 5 種,情緒識別場景下建議檢出情緒種類不應小於 4 種,在腦機打字場景下建議輸出字元種類不應低於 40 種。在機器人、機械臂、無人機等複雜外部裝置控制中,自由度不應小於 6 種。可輸出指令數量和實際使用需求有關,需根據具體場景需求確定最佳範圍。

控制能力是指腦機介面系統將大腦神經活動轉化為外設在實際場景中完成複雜控制操作的能力,腦機介面系統的控制能力和工作效率可用菲茨吞吐量1(Fitts Throughput)指標衡量。腦機介面系統的菲茨吞吐量定義為:難度係數與移動到目標位置所需時間的比值,其中,難度係數是互動移動距離和目標尺寸兩者比值取對數。

菲茨吞吐量來源於菲茨定律(Fitts Law),這是主要用於人機互動和人體工程學的人體運動預測模型,用難度係數和吞吐量來分別衡量任務難度和控制效果。在腦機介面研究中也多采用菲茨吞吐量作為系統控制效果的衡量指標。

以腦控虛擬滑鼠移動為例,虛擬滑鼠從起始物體 A 移動到目標物體 B 的難度係數由 AB 之間的距離以及目標物體 B 的尺寸決定,AB 間距離越大,目標物體 B 的尺寸越小,難度係數越大。不同難度係數下虛擬滑鼠到達目標的所需時間不同,菲茨吞吐量是同時考慮運動速度和控制準確度的綜合指標,數值越高體現腦機介面系統的控制效果越好。通常菲茨吞吐量達到 0。7 bits/s 可實現較為流暢的控制效果,1 bits/s 是更為理想的指標。

可用性指標:可用性也是腦機介面系統走向產業落地的關鍵,是除了效能指標之外的另一系統評價維度。系統可用性的衡量指標包括:易用性、長效性、魯棒性、安全性和互操作性。

易用性又可透過腦機介面系統的使用準備時長、輕便性和舒適性三個指標反映。準備時長是指人員在腦機介面系統使用之前所需的準備時長和人機協同訓練時長之和。準備時長具體包括除錯準備時間、阻抗調整時間等。人機協同訓練時長與系統使用者對系統的使用熟練度以及解碼演算法是否需要現場採集訓練資料相關。

此外,部分腦機介面系統需要針對不同使用者定製不同的解碼演算法引數,也會導致人機協同訓練時間較長,從而使系統的易用性降低。非植入腦機介面系統比較理想的準備時長建議不大於 3 分鐘。植入式腦機介面系統由於需要比較繁瑣的植入過程,因此準備時長較長,需要儘量最佳化植入手段,提高系統易用性。

輕便性是指腦機介面系統的輕質與便攜。輕質是指對使用者而言符合人體工學,且不造成明顯傷害和負擔。通常以重量指標衡量輕便性,為確保人體頸椎以上部分不受傷害。比較理想的頭戴式腦機介面系統(含外設)重量不應大於 500 克,不超過 200 克將是更為理想的目標。便攜是指易用使用和攜帶,訊號傳輸方式是衡量便攜的重要指標之一。比較理想的便攜方式是擺脫有線連線,以藍芽、Wi-Fi、超寬頻或其他先進的無線通訊方式進行資料傳輸。

舒適性同樣是易用性的重要指標,體現在正規化設計、外形設計、材料選取等方面。當前業內廣泛使用的正規化多源自二十世紀九十年代,歷經三十餘年發展,正規化雖然奠定了實驗研究的基礎,但其互動方式普遍存在不符合人類自然行為的問題,由此導致面向消費級產品時使用者接受度和配合度較低,即便是在醫學領域應用也比較受限。因此舒適性以可定量定性的體驗感、滿意度等作為主要衡量指標,特別是對腦機介面消費級產品的落地具有重要意義。

長效性指系統可穩定持續使用的時間,是用來衡量系統穩定性的重要考量。在非植入場景下,長效性體現在系統續航時間長。例如娛樂遊戲時系統不會因使用者出汗等干擾導致系統性能下降。在植入場景下,長效性體現在系統不會受生物組織分泌物和免疫系統干擾導致效能下降,電池續航需要能夠保證 8 小時以上的持續腦電訊號傳輸與分析。因此建議比較理想的非植入場景下,單次的穩定可用時長不小於3 小時;植入場景下,有些國家規定穩定可用時長不應小於 1 年,常規情況下,醫療器械的理想植入時間是 10 年以上。

魯棒性指標用來衡量腦機介面系統對抗外部擾動變化的能力。腦機介面系統需要在各類外部干擾環境下使用。正常環境本身就存在大量干擾訊號,此外還包括強磁環境、超聲波診斷治療環境、放射治療環境等。這就要求腦機介面系統在所處的環境中,能夠有效遮蔽大部分外界干擾,保證互動響應時間、識別正確率等效能指標維持在一個較高的水平。此外,在使用過程中,腦狀態也不是一成不變的,因此魯棒性還體現在具有一定的自適應能力,可隨使用者狀態變化而自適應調整,確保系統性能指標在較小的範圍內波動。

安全性是腦機介面系統可用性的重要指標。一是要保障腦機介面系統整體安全和資料安全。硬體和軟體具備基礎的安全防範能力和手段,防護手段到位,確保能夠有效抵禦外部攻擊,避免系統被篡改而做出錯誤指令。同時要確保使用者的資訊不外洩,尤其是需要聯網使用的裝置,例如解碼演算法、腦電資料上雲的系統需要確保資訊保安;二是要確保人身健康安全。需要在符合常規安全要求基礎之上,做出更適合腦機介面系統的安全專用要求。三是要符合科技倫理安全。需要制定完備的科技倫理制度,確保隱私資訊不外洩、風險可控、尊重生命權利、增進人類福祉、保障公平公正。

互操作性是腦機介面系統應用落地和廣泛發展的重要指標,體現了腦機介面系統之間實現跨系統訪問、雙向連線和互動控制的能力。互操作性一方面體現在同類型系統之間保持框架一致和介面一致,另一方面體現在腦機介面系統能在電腦、手機、增強現實(AR)裝置、虛擬現實(VR)裝置等其他智慧終端上互通互用和即插即用。系統應根據此方面的技術標準要求,開發相關介面和可互通的系統平臺。互操作效能力指標可以透過系統符合互操作標準的程度來衡量。

腦機介面作為新興技術,為大腦與外部直接互動提供了新的解決思路,在新一輪的技術升級中被給予厚望。腦機介面產業落地有賴於關鍵技術的突破和革新。目前全球在腦機介面關鍵技術研究方面發展蓬勃,但依然存在亟需解決的若干問題。對此,業界也正在嘗試多種手段予以突破。

腦機介面關鍵技術包括採集技術、刺激技術、正規化編碼技術、解碼演算法技術、外設技術和系統化技術。其中,採集技術研發重點包括採集端和訊號處理端。採集端常規技術手段包括電採集、磁採集、近紅外採集等手段,其中電採集為主流研發方向,磁和近紅外等採集技術因為成本和技術成熟度等制約,距離應用落地相對更遠。

訊號處理端涉及模擬晶片和數字晶片。由於當前腦機介面系統所用的數字晶片多為行業通用晶片,所以重點介紹模擬晶片的發展。刺激技術重點介紹腦深部電極刺激(Deep Brain Stimulation, DBS)閉環控制的進展,以及腦機介面技術在助盲領域的最新進展。正規化編碼和解碼演算法技術介紹了當前主流研究進展。由於外控技術和系統化技術的創新多在於工程整合,因此不在此介紹。

腦機介面技術的應用場景按照資訊流向分為腦狀態檢測、神經調控和對外互動三類。從資訊流向來看,腦狀態檢測是資訊從大腦流向外部和外設,神經調控則是資訊從外部和外設流向大腦,而對外互動則是資訊的雙向流動,因此重點圍繞資訊的利用、互動和反饋來介紹腦機介面系統在不同場景下的典型應用以及系統在各方面效能上的需求。

▲腦機介面關鍵技術

植入式電極:植入式微電極是腦機互動的關鍵基礎,被廣泛應用於基礎神經科學、腦疾病的診斷治療以及腦機互動通訊等領域。植入式微電極透過將以離子為載體的神經電訊號轉換為以電子為載體的電流或電壓訊號,從而獲取大腦神經電活動資訊。

植入到大腦中的微電極可以高空間解析度和時間解析度方式,精確記錄電極附近單個神經元的動作電位,從而實時監測大腦活動。傳統的植入式微電極由金屬和矽等硬質材料製備而成,形成了以密西根電極和猶他電極為主的硬質電極。隨著微納加工技術和電極材料不斷髮展,微電極趨向於柔性、小型化、高通量和整合化發展,形成了以微絲電極、矽基電極和柔性電極為主的多元化發展局面。

高效能柔性微電極對長期穩定慢性記錄具有重要意義。硬質微電極和腦組織之間存在機械失配問題,會對生物體的正常活動造成繼發性腦損傷,不適用於長時間的慢性實驗。具有高生物相容性的柔性微電極器件有利於緩解免疫反應,提高訊號質量,對實現大腦活動長期穩定的慢性記錄具有重要意義。利用低楊氏模量生物材料和高效能介面材料製備柔性電極成為該領域的熱點。

高通量微電極將為拓展全腦神經科學研究奠定重要基礎。為了獲取更豐富的神經元動態,神經微電極被要求同時記錄儘可能多的單個神經元的電活動。現有植入式微電極通量遠小於大腦神經元數目,發展新型高通量微電極,實現批次化的高時空解析度腦電訊號採集,對於追蹤神經環路活動以及解析全腦尺度的神經網路功能等基礎神經科學研究至關重要。

多功能微電極有力促進多種激勵方式綜合調控。透過整合電刺激、藥物注射和光刺激等功能,植入式微電極在讀取生物體大腦活動資訊的同時,還能調控生物體生命活動,實現生物體和外部裝置的雙向通訊。研究多功能的神經微電極器件,搭建閉環系統,可實現癲癇等腦疾病的診治和神經功能恢復等應用。

非植入式電極應用場景廣泛。非植入式電極不需要進行手術植入,直接放置於頭皮上即可進行腦電訊號採集,因此也稱為無創電極,其安全無創特性更易被使用者接受,因此在非臨床腦疾病診療、消費級腦科學應用等場景中得到了廣泛的應用。

改進的乾電極是電極產業落地的主流選項。隨著基於頭皮腦電的腦機介面系統在便攜性、快速應用及舒適度等方面的應用需求增長,電極的改進成為亟需解決的關鍵問題。傳統的溼電極儘管訊號質量好,但其專業的操作需求,耗時長,用後清洗等固有缺點無法規避。因此無膏的乾電極技術逐漸發展起來以適應新的應用場景和需求。基於金屬材料或導電聚合物材料的多腳柱式/爪式乾電極、基於導電纖維的刷毛式乾電極、基於微機械加工工藝的微針電極及電容式電極等,在提高使用便捷性的同時,也透過材料改進和結構設計最佳化不斷地降低電極與面板的接觸阻抗,提高使用舒適度和應用性。

凝膠半乾電極具有潛在的廣闊應用前景。乾電極實現了腦機介面系統的便捷應用,但其與頭皮的電連線僅靠微量的汗液,接觸阻抗較高,且強烈依賴於壓力,因此舒適度和訊號質量及穩定性成為該項技術需要突破的技術難題。半乾電極利用材料或結構特性,釋放少量導電液到頭皮,以降低電極與頭皮的介面阻抗。基於材料體系的凝膠半乾電極物理化學特性可調,透過材料組分配比的最佳化可兼顧電化學特性和機械特性,從而得到使用舒適度較好且訊號質量可與溼電極匹敵的效能,是一種極具應用前景的電極技術。

隨著積體電路技術的快速發展以及電路與神經科學融合研究的持續探索,腦訊號採集技術朝著微型化、輕量化、高通量、分散式採集的方向不斷前進。針對腦機介面的應用、演算法、硬體以及正規化的研究內容也逐漸豐富,植入式與非植入式腦機介面系統透過電極與採集硬體對腦訊號進行採集、處理和解碼,從而實現對腦科學基礎理論、腦疾病以及腦控外設的探索與研究。腦訊號採集晶片是將腦訊號直接轉化為數字訊號的核心硬體,也是腦訊號讀取與解碼,腦部疾病診斷與調控所依賴的工具。

針對腦部訊號的生理特性以及應用場景,在定製化腦訊號採集晶片設計過程中存在諸多技術挑戰。精密放大器是腦訊號採集晶片中的核心模組,在腦機介面應用場景中需要滿足多重技術引數要求。對於腦訊號來說,其幅值微弱(幾十μV 到幾個 mV)、頻率低(0。5 Hz 到數 kHz),因此易受外界噪聲干擾,從而導致訊號質量不佳。為了保持最佳的訊號質量,腦訊號採集模組的部分關鍵引數,例如訊號噪聲、共模抑制比(CMRR)、電源抑制比(PSRR)、增益匹配、運動偽影等需要最佳化。多個腦訊號採集引數之間存在相互制約的關係,多引數的統籌最佳化是當前腦訊號採集晶片設計的核心問題之一。

訊號噪聲是腦訊號採集過程中最大的干擾源之一。由於前端放大器的閃爍噪聲與腦訊號在頻譜上部分重疊,採取簡單的濾波工作難以提取純淨腦訊號,因此對較低頻率的腦訊號使用斬波放大技術,將所採集的訊號調製到較高頻率以避開放大器的閃爍噪聲。斬波技術在交流耦合儀表放大器中實現了良好噪聲和功耗平衡,但放大器的輸入阻抗在斬波調製過程中會降低到兆歐範圍以下,導致訊號在進入放大器前產生衰減。為解決輸入阻抗降低的問題,有團隊提升了正反饋迴路的輸入阻抗。還有團隊採用電容組對輸入阻抗升壓迴路的電容進行校準,也有團隊採用調整電路耦合的方式來切換斬波器和輸入電容的位置,避免因斬波調製導致的輸入阻抗降低。

共模抑制比是衡量系統應對環境干擾的關鍵引數。針對微弱腦訊號,高共模抑制比可以保證訊號不被共模擾動2掩蓋,從而提高訊號質量。此外,在多通道神經訊號採集過程中,由於電極在植入大腦後產生的一系列生物相容性問題,導致電極阻抗可能隨植入時間增多而明顯提升(數個月後可高達 100kΩ至數 MΩ),繼而影響腦訊號的信噪比以及系統共模抑制比。為保證採集訊號質量,前端放大器電路採用共模反饋技術以及共模前饋技術以提高系統級共模抑制比。

採集晶片的微型化設計是植入式腦機介面系統核心技術挑戰之一。為了將採集晶片縮小至可植入的尺寸範圍,針對片上有源/無源器件的微型化是相關研究中的技術難題。具有電容耦合的全差分放大器結構透過採用電晶體搭建的偽電阻(Pseudo Resistor)結構可大幅縮小片上無源器件的面積,同時偽電阻提供了較大的阻抗以及較低的高通截止頻率,適合設計微型化的腦訊號採集晶片。採用時分複用/正交頻分複用等技術透過固定的採集單元對多個通道的腦訊號進行同步採集,也可明顯降低片上面積。

針對不同的腦機介面應用以及採集芯片面對的一些技術難題,國內外有許多團隊提出瞭解決方案。例如針對採集過程中的電極間直流偏置引起斬波放大器輸出飽和的問題,一種直流伺服反饋迴路技術透過積分器將輸出端的直流分量提取並反饋至輸入端,有效抑制了電極間的直流偏置。對於採集晶片的超低功耗需求,有團隊設計了基於反相器結構的超低壓斬波放大器,非常適合植入式場景。針對晶片微型化的問題,放大器與 DAC 結合的數字-模擬混合反饋技術可大幅縮小採集晶片的片上面積。

針對腦訊號採集過程中的共模干擾問題,基於電荷泵(charge pump)的共模反饋技術透過對輸入端的共模擾動訊號進行動態反饋,能有效抵抗高達 15V 的共模擾動。對於採集晶片的無線供電問題,線圈的無線電感傳輸技術被應用在植入式腦機介面晶片中,透過外部傳輸線圈以及中繼線圈和片上耦合線圈,實現了對體內採集晶片的無線供電以及採集到的腦電訊號無線傳輸。

體表網路無線傳輸技術(Body area network,BAN)解決了無線供電時線圈難對準的問題,利用被試者的身體表面對採集到的訊號以及能量進行無線傳輸,適用於可穿戴的腦機介面場景。在提升系統整合度方面,目前已有將訊號採集、儲存、以及基於 AI 的訊號歸類識別等模組整合在一起的腦機介面片上系統,實現了較高的系統整合度。針對於高通量植入式腦機介面晶片,有些公司設計了帶有動作電位識別的高整合度採集晶片,該晶片與數千個柔性電極相結合,實現了對高通量腦訊號的採集。

腦深部電極刺激(Deep Brain Stimulation, DBS)一種非常具有代表性的植入式電極刺激技術。DBS 透過植入體內的腦起搏器發放弱電脈衝,刺激癲癇、帕金森的病灶腦區,抑制病灶區神經元的異常無規則放電,進而抑制相關症狀,使患者恢復自如活動和自理能力。

傳統的 DBS 調參需要基於微電極訊號分析、刺激效果分析、影像定位、核磁分析等多技術手段選擇治療觸點。藉助腦機介面技術,腦內電極不僅具有單向刺激功能,還可進行周圍神經元訊號採集,以做到精準觸點選擇。就技術發展進度看,目前可以做到訊號採集之後由醫生根據生物標誌物和與患者的互動反饋進行觸點選擇,未來還將向自適應角度發展,自適應技術研發方向包括:

透過最佳化的訊號處理方法實現自適應調控。如在機器學習、深度學習基礎上對患者腦電資料進行預測分類,為醫生提供分類結果以助於診斷,提升觸點選擇的精準度。另外,在患者體態姿勢發生變化導致電極與靶組織之間距離改變時,例如咳嗽、打噴嚏、深呼吸時,可根據誘發複合動作電位調控刺激以避免發生瞬時過度刺激。

透過刺激引數空間拓展改善自適應調控。刺激引數空間包括觸點、幅度、頻率、脈寬的選擇。目前在常用單極恆頻刺激的基礎上已開發交叉電脈衝模式、變頻刺激及多觸電不同頻刺激技術,極大地拓寬了刺激引數空間,實現更好的症狀調控。

依託多樣生物標誌物實現自適應刺激調控。當前國內外知名 DBS廠商正在嘗試基於生物標誌物實現自適應刺激調控,例如檢測神經遞質濃度,透過血清素、去甲腎上腺素、多巴胺脫氧血紅蛋白度、氧合血紅蛋白的濃度識別治療效果並作為依據來動態調整刺激幅度。也有基於血流水平、範圍或預定血流值矩陣等血流資訊調節刺激幅度、脈衝寬度、脈衝率和佔空比等指標。

透過磁共振相融 DBS 技術實現自適應調控下的腦網路探索。現有磁共振相容 DBS 技術解決了在強磁場下電極發熱、移位及感應電流等安全隱患,使植入 DBS 的患者能在 3。0T 磁共振下進行長時間的同步刺激及掃描。在解決臨床需求的同時,也使 DBS 成為探索刺激相關腦網路變化的直接媒介,透過功能磁共振解析刺激相關區域性及整體腦網路改變,為新靶點的發現及適應症的拓展提供依據。

植入式視覺調控技術對盲人群體提高生活質量具有重大意義,相關研究已經開展。全球絕大多數研究團隊在開環視覺重建的研究中,研究方向逐漸從視網膜刺激向皮層刺激轉移。目前主要集中在電刺激初級視覺皮層(V1)以獲得人工視覺感知。這就需要進行刺激電極的植入。最新的實驗已經植入了超過 10 塊猶他陣列,通道數達到 1024。該系統還包括採集影片的攝像頭,採集到的影象資訊透過訊號處理獲得簡單的二維灰度影象(目前還沒有具有色彩的植入式人工視知覺輸入),並據此刺激初級視覺皮層神經元。受試者透過植入電極可以在有限的視野範圍內看到一些灰度調製的低解析度點陣影象。

目前的研究結果表明,用小電流電刺激初級視覺皮層神經元(V1 neurons)會啟用直徑數百微米的皮層區域,從而獲得簡單的視覺知覺,稱為光幻視(phosphenes)。電刺激可以改變大腦皮層的資訊流,影響到正常視覺觀測內容。由於電刺激是相對粗糙的刺激方式,因此獲得的視覺感知也相對粗糙。目前研究致力於透過多個電極同時刺激,讓受試者感知到具體影象或連貫動作。2020 年發表在 Science 上的研究結果表明,透過植入大規模 1024 通道電極並進行訓練,可以使非人靈長類正確識別字母,辨識運動方向等。如何透過不同模式刺激增強受試者感知連貫形狀的能力,並最大限度向其傳遞視覺資訊依然是未來研究重點。

目前的植入式視覺調控研究多為開環腦機介面系統,開環腦機介面系統難以實現精確刺激模型,且電刺激也難以與真實的視覺刺激保持一致,因此存在不可控風險且難以實現精細視覺輸入。因此閉環視覺調控是未來重要的技術探索方向。

大腦的各種思維與響應活動千變萬化,且同時發生,因此很難直接從中準確解碼特定型別的活動。在腦機介面系統中,用正規化來表徵對預定義的大腦意圖的編碼方案。正規化定義為:在編碼任務中,對希望識別的大腦意圖用可檢測、可區分、可採集的腦訊號予以對應,從而實現對大腦意圖的可識別輸出。在過去的幾十年中,出現了許多腦機介面正規化,常見典型的有運動想象正規化、穩態視覺誘發電位正規化、P300 正規化。這些正規化往往根據是否有外部刺激和輔助而分為被動式和主動式正規化。

視覺誘發電位刺激正規化 P300 朝向介面佈局最佳化、人臉影象拼寫和融合物理刺激方向發展。傳統的視覺 P300 電位刺激正規化下,拼寫器允許受試者透過閃爍不同的行和列來選擇目標,但沒有考慮兩個相鄰符號連續閃爍對結果的影響。近年有大量研究針對 P300 電位刺激正規化的拼寫介面佈局開展最佳化工作,有效消除了相鄰符號閃爍帶來的影響。一些研究發現面部符號可以比傳統 P300 字元拼寫正規化誘導更高的 P300 電位。

因此許多研究嘗試用人臉影象代替數字或字母符號,使每個符號在以一定頻率閃爍時都會變成人臉影象,而不是簡單的顏色或大小變化,實現了 P300 電位刺激正規化的解碼效能提升。最近也有研究發現,在視覺 P300 電位刺激正規化中新增其他形式的物理刺激可以提高使用者的表現,例如使用偏光鏡增強刺激、基於積極情緒的視聽組合刺激、引入聲音和影片刺激等方式。因此將 P300 電位與其他物理刺激融合的正規化研究也是近年的熱點。

穩態視覺誘發電位(Steady-state visual evoked potentials,SSVEP)刺激正規化朝向更高效、更舒適和更自然發展。SSVEP 正規化腦機介面主要應用方向包括:高速率腦機介面打字互動系統、特殊群體腦機報警系統、自然場景的腦機目標選擇系統等。為支撐上述三大應用場景,SSVEP 正規化的主要發展趨勢包括:

更高效:SSVEP 正規化編碼從最初 4 目標編碼已發展至 160 目標編碼,且編碼的識別響應效能也在持續提升,因而實現的高速率SSVEP-BCI 系統的效能也在不斷提升。後續 SSVEP 會持續研究更高效、可分性更好的正規化編碼。

更舒適:SSVEP 正規化刺激的最佳頻帶為 8~15Hz,該頻帶的多目標閃爍刺激雖然實現的系統性能優異,但也容易誘發視覺疲勞,因而在實際落地應用中受到了一定的阻力。目前 SSVEP 舒適刺激的方式主要包括降低亮度變化率、提高刺激頻率、減小刺激目標面積以及採用空間編碼(外周視野)刺激等。上述研究已取得了較大的進展,並不斷繼續推進中。

更自然:SSVEP 刺激正規化的每個刺激塊需要按固定頻率進行閃爍且具有一定的面積,因而在實際應用過程中僅與腦機打字場景最為貼合,即將字元繪於對應的閃爍目標塊上即可。目前已有部分 SSVEP正規化採用空間編碼的方式將中央視野區域空出,在視野外周進行刺激編碼,進而實現更貼近自然應用場景的應用。

也有適當降低 SSVEP 閃爍塊面積並與生活場景結合的編碼思路,受限於刺激面積變小對響應強度的影響,為保障系統的識別正確率與響應速度,此類應用的SSVEP 編碼目標數較少。此外,SSVEP 的主要響應腦區位於後腦枕葉,因而往往需要佩戴腦電帽,不利於生活自然場景使用。為解決該問題,部分研究採用時頻混合或時空頻融合的編碼方式,嘗試提升無毛髮區的 SSVEP 響應強度,取得了一定的進展。為了 SSVEP 腦機介面在生活場景落地,上述研究仍在持續推進中。

運動想象(Motor Imagery, MI)正規化朝向更精細發展。運動想象是一種非常重要的主動式腦機介面正規化,用於識別大腦對四肢和舌頭的運動意圖。其無需外界條件刺激和明顯的動作輸出就能誘發大腦感覺運動皮層的特定響應。現已廣泛應用於基於腦機介面的假肢、機械臂和輪椅等裝置控制、字元拼寫及臨床中風康復治療等場景。

基於運動想象正規化的腦機介面已經發展多年,經過數十年的研究,大肢體部位的 MI 控制已經基本發展成熟,而對更細微運動做出想象並有效識別(例如不同手指的伸縮、握拳、不同手勢的運動想象等)是運動想象正規化編碼的發展方向。

運動相關皮層電位正規化朝向多肢體運動意圖解碼和連續運動解碼發展。運動相關皮層電位(Movement-related cortical potential, MRCP)是一種可以從低頻頭皮腦電中捕捉到的與運動規劃、執行相關的神經活動訊號。MRCP 主要由三部分組成,即與運動準備相關的準備電位(Readiness potential, RP)、與運動發生、起始相關的運動電位(Motorpotential, MP)以及與運動執行、運動效能相關的運動監測電位(Movement-monitoring potential,MMP)。

相較於 SSVEP 和 P300 等被動式腦機介面正規化,MRCP 和運動想象是不依賴於外部刺激的、由人體真實運動意圖誘發的主動式腦機介面正規化。而相較於運動想象,MRCP 不依賴於重複的運動想象。因此,MRCP 具有自然、真實、可以反映人的實際運動意圖等優點。典型的 MRCP 正規化包括點到點的上肢運動(如 center-out)、連續運動追蹤式的上肢運動(如 PTT)、指定動作型別的上肢或下肢運動(如手腕內旋/外旋)等。

由於 MRCP 具有可反映運動意圖的特性,其對發展與運動康復、運動功能診斷、日常生活輔助等相關的運動腦機介面具有重要價值。目前,MRCP 主要發展趨勢包括從單肢體到多肢體的運動意圖解碼、從離散分類問題到連續迴歸問題的連續運動引數解析、與神經假肢、外骨骼、機械臂等外設結合的人體運動增強和康復治療等。

卡爾曼濾波器成為當前主流解碼方法。以運動控制為例,早期的植入式腦機介面解碼大都使用維納濾波器線性解碼系統。此類解碼系統不包含運動學過程模型,而是將群體神經元的反應作為輸入,將空間座標內的運動速率作為輸出,透過最優線性估計的方法進行解碼。早期很多腦機介面實驗室都用該方法進行解碼。

後來,為滿足控制過程中的解碼連續性需求,需要有運動模型作參考以修正和最佳化解碼器輸出,卡爾曼濾波器成為當前的主流解碼方法,其在離線、實時以及臨床試驗中都得到了廣泛的應用。卡爾曼濾波的優點是演算法簡單,而且可以不需考慮神經元具體編碼內容即可解碼,因此可以實時快速解碼。其缺點在於解碼效果一般,且每次實驗之前都需較長的校準時間,另外,卡爾曼濾波解碼的系統魯棒性相對較差。為解決這些問題,國際上提出了很多方法,其中最具前景的方法主要包括類腦解碼器設計和神經學習。

類腦解碼器成為新一代解碼方法。最近一些皮層神經元群體編碼特性研究結果表明,雖然大量的神經元被記錄並用於腦機介面的解碼,但因大腦神經元的資訊編碼相對於運動是冗餘的,用於控制的神經元群體反應維度要低於神經元數量。因此在理論上可以找到一個隱藏或潛在的低維狀態空間來描述在該控制條件下的有效神經元群體反應,並將這個狀態空間中的潛變數對映到相關行為或運動控制變數用於運動控制。

將這些編碼特性應用於解碼器設計,得到類腦的解碼器可用於腦機介面控制。目前學術研究結果表明,此類穩定子空間是存在的。此方法的優勢是雖然記錄到的神經元群體訊號有高噪聲且會發生變化,但其在子空間上的動力學過程一直穩定,因此可以有效去除不穩定記錄以及神經元發放變化帶來的干擾,從而獲得更為魯棒的腦機介面系統。

神經學習提供新的解碼思路。當前還有一種前沿的腦機介面解碼方法是透過訓練大腦進行學習來使用腦機介面,即神經學習(也稱腦機學習)。腦機介面系統中存在兩個學習系統,一個是解碼器的機器學習,另外一個就是具有強大學習能力的神經系統。腦機介面初期的實驗都體現了大腦學習本身的重要意義,但如何讓大腦學會使用腦機介面的解決方案尚不完善。

腦機介面系統在使用過程中,閉環控制的練習可以導致神經元為適應使用者的運動系統而發生變化。因此,閉環過程中的解碼器與開環時的解碼器可能完全不同,結果表明提供快速的反饋比過濾錯誤更為重要,因此誕生了改進閉環效能的技術,一般被稱為閉環解碼器適應(Closed-Loop decoder Adaptation,CLDA)。此類方法根據閉環腦機介面使用期間記錄的資料實時改進解碼器,讓解碼器根據使用者當前神經訊號的性質來決定解碼器的結構。

此外,使用者的神經系統也在實時學習如何應用這個解碼器。兩者的相互結合以及相互促進得到了一個“腦機雙學習”的融合式腦機介面系統。此係統可以在神經訊號不穩定時依然輸出穩定的表現,且僅需少量校準即可即插即用,同時魯棒性極高,在適應新的應用場景時有同時保留已學控制技巧並探索新控制方式的特性,因此極大的提高了腦機介面系統在實際應用中的可能性。

分解演算法是非植入式腦機介面系統的主流解碼演算法。分解演算法廣泛應用於腦機介面系統的去噪與意圖解碼。分解演算法通常使用矩陣分解或提取空間濾波器來增加不同類別意圖的解碼可分離性。大多數分解演算法都是為特徵提取而設計的,矩陣特徵分解後通常需要連線到分類器。獨立成分分析(ICA)是使用廣泛的分解演算法之一。ICA 一方面可對不同源訊號進行特徵分析,另一方面還可用於去噪(例如去除眨眼成分、偽影訊號等)。在解碼腦意圖時,不同腦機介面正規化的分解演算法存在差異。運動想象正規化解碼多采用通用空間模式(CSP)及衍生演算法。

CSP 可最大化不同分佈的方差訊號,例如對左右手運動想象進行分類。在 CSP 基礎上逐漸衍生出濾波器組 CSP(FBCSP)、提議判別濾波器組 CSP(DFBCSP)、臨時約束的稀疏組空間模式(TSGSP)等。穩態視覺誘發電位(SSVEP)解碼多采用典型相關分析(CCA)及衍生演算法。CCA 演算法有效解決了以往非空域分解演算法難於處理的導聯挑選問題。近十年學者提出諸多 CCA 改進演算法,例如濾波器組CCA(FBCCA)、任務相關成分分析(TRCA)、整合 TRCA(eTRCA)、任務相關成分分析演算法(mTRCA、TDCA 等)。視覺 P300 電位解碼演算法依託 xDAWN 演算法和 DCPM 演算法。目前有增強 P300 誘發電位的xDAWN 演算法以及將空間模式提取和模式匹配結合的 DCPM 演算法。

近十年以黎曼幾何為代表的流形演算法在腦機介面系統中廣泛應用。黎曼幾何演算法通常可以用於對稱正定(SPD)矩陣的空間上應用運算,進而提供一個統一的框架來處理不同的腦機介面正規化。例如基於最小均值距離(MDM)和帶有測地線濾波(FgMDM)演算法對 MI任務進行分類。MDM 類似於使用歐式距離而不是黎曼距離的最近鄰演算法。FgMDM 將協方差投影到切線空間,將線性判別分析(LDA)應用於切線向量,然後將它們投影迴帶有選定分量的 SPD 空間。黎曼框架由於具有擴充套件性,因此易於多場景應用並與機器學習方法結合。

深度學習演算法在近年被引入腦機介面解碼研究。基於 CNN 網路結構設計的 Shal-lowConvNet 和 DeepConvNet 模仿了 FBCSP 中的時間和空間濾波器,效能接近 FBCSP。進一步利用深度可分離卷積代替普通卷積提出的 EEGNet 在 SSVEP 正規化應用中取得了很好的效果。CNN網路模型具有的批處理歸一化功能也可用於視覺 P300 正規化的解碼。進一步還有諸多深度學習的改進模型,例如 CNN-RNN 架構、CNN-LSTM 架構。還有一些研究側重於腦機介面的資料擴增,進而得到更多的訓練資料,提升解碼效果。典型的資料擴增網路模型包括迴圈的對抗網路(RGAN)、增強 MI 資料的 C-LSTM 模型等。

遷移學習演算法的進步是腦機介面走向應用落地的關鍵。許多機器學習演算法的訓練資料與測試資料來自相同的特徵分佈。此類演算法在腦機介面應用中,雖然面向單個被試在短時間內可以取得良好效能,但在不同被試或相同被試不同時間的情況下效能則大幅下降。這些問題被稱為跨被試和跨時間的可變性問題。為了減輕這兩個問題的影響,通常需要一個校準階段來在每個會話開始時收集足夠的訓練資料,但這會明顯增加系統使用的準備時間。

遷移學習旨在利用源域中的先驗資訊改進目標域中預測函式的學習過程,解決跨會話和跨主體的可變性問題。腦機介面的早期遷移學習演算法側重於分解演算法的改進。而後黎曼幾何法進一步促進了腦機介面的遷移學習演算法進步。近年來,深度學習演算法也開始應用於遷移學習領域。此外,其他領域的遷移學習方法也在腦機介面研究中有一定的借鑑,例如資訊幾何(STIG)的光譜傳輸演算法在快速序列視覺呈現正規化(RSVP)的驗證;融合轉移分量分析(TCA)和聯合分佈適應(JDA)提出的用於腦機介面的流形嵌入知識轉移(MEKT)方法。

智東西認為,經過數十年的科學探索與技術論證,腦機介面已從科幻成為科學,並處於從科學研究到產業落地的關鍵時期。就腦機介面目前的發展情況,在今後一段時間,腦機介面的基礎學科研究和應用落地都將得到長足發展,從而有望促進腦機介面市場規模不斷擴大。

炒股開戶享福利,入金抽188元紅包,100%中獎!

開啟App看更多精彩內容

上一篇:12月,這些星座,運氣不錯,吉星入位,有望取得不錯的成就!
下一篇:速遞 | “聞一聞”就能知道是否患癌?早期胰腺癌風險評估工具問世