當地時間9月19號，馬斯克的腦機接口公司Neuralink在其官網發布了首次人體臨床試驗被試招募信息，一時間引起了廣泛的關注與報導。
在經歷了多年臨床試驗申請後，美國食品藥品監督管理局（FDA）終于于今年五月批准了Neuralink的器械臨床試驗申請（investigational device
exemption，IDE），即將開展的名為PRIME的臨床研究。此次研究旨在評估Neuralink全植入式無線腦機接口植入物與手術機器人的安全性，並評估腦機接口的性能表現，以幫助癱瘓患者通過大腦控制外部設備。
圖源：每經網
那麼什麼是腦機接口？其存在哪些技術難點和發展方向？又有哪些應用呢？
什麼是腦機接口？
顧名思義，腦機接口是用於連接大腦與外部設備的一套系統，它通過將腦信號轉換為控制指令，操控外部設備行使功能。這一概念的提出發生於科學家對大腦工作原理的理解過程中：
1780年
義大利解剖學家Galvani首次發現了生物電現象；
1875年
英國生理學家Richard Caton在兔子和猴子的腦組織表面記錄到了電信號；
1924年
德國醫生H.Berger發明了腦電圖；
1969年
德裔美籍神經學家E. Fetz實現了利用單神經元的信號控制儀表，這可以說是最早的腦機接口雛形；
1973年
美國計算機科學家J. Vidal首次提出腦機接口的概念。
我們可以從多種角度對腦機接口進行分類。
基於信號採集過程是否需要進行手術可以分為侵入式（invasive）和非侵入式（noninvasive）腦機接口。
諸如Blackrock的Utah陣列電極和Neuralink的Thread都需要進行開顱手術，將電極植入到大腦皮層中採集神經元的動作電位，因此稱為侵入式。
Utah陣列電極 & Thread電極｜圖源：Neuralink官網
而通過腦電帽、近紅外頭帶和功能性核磁共振這些無創方式採集信號便稱為非侵入式。
腦電帽｜圖源：neuracle
信號採集手段決定了信號類型。
侵入式通常採集尖峰電位（spike）和場電位（LFP）信號；非侵入一般採集頭皮腦電（EEG）信號；皮層腦電（ECoG）信號則介於兩者之間。
侵入式和非侵入式所採集到的信號質量差異就像是，在演唱會的第一排和場館之外的差距，前者有著巨大的時空解析度優勢。
基於腦機接口功能可以分為運動、感覺和認知三個類型，例如助力癱瘓病人恢復上下肢運動，針對失明失聰者的感覺恢復，以及檢測注意力和情感的腦機接口。
基於信號產生誘因分為內源性和外源性兩種。內源性信號是由被試自發產生的，比如運動想像（motor imagine）；外源性信號是指由外部刺激誘發的腦信，比如當我們看到固定頻閃的圖像時，大腦視覺皮層也會產生相應頻率的振盪信號，這種信號依賴於外部頻閃的激發，因此稱為外源性信號。
穩態視覺誘發電位是一種常見的外源性腦機接口｜圖源：騰訊雲
此外，基於大腦與機器間的信息流向還可以分為單向和雙向腦機接口。單向腦機接口僅實現從大腦解碼到外設控制的單向信息傳遞，而雙向或反向腦機接口還會通過電刺激將外部設備感受到的信號反饋給大腦，因此也稱之為寫入式腦機接口。
大多數腦機接口系統都可以歸納為信號採集、信號解碼和外設控制三個部分，而其中最關鍵的就是解碼部分。解碼的基礎是神經元的選擇性（selectivity）。
想像大腦中有一個神經元很喜歡蘋果而討厭香蕉，當我們看到蘋果時它會賣力的高喊「我要！我要！」，看到香蕉時則沉默不語，我們可以很簡單的通過它的神經元活動強弱實現蘋果與香蕉的二分類判別解碼。
這就是對腦機接口原理的簡單描述，事實上早在1986年，Georgopoulos實驗室就已經基於獼猴運動皮層神經元的方向偏好性實現了對獼猴手動的解碼[2]。
腦機接口難在哪裡？
可能有人會疑惑，既然腦機接口的解碼原理如此簡單，目前又已經實現了通過腦機接口控制電腦、機械臂、輪椅、打字等等這些功能，為什麼馬斯克的臨床試驗如此備受關注？為什麼腦機接口還沒有走進尋常生活？
目前腦機接口所取得的成果基本都是在實驗室環境中，在特定場景和任務下，在個別患者上的結果。無論從安全性、準確性、易用性、通用性和成本等諸多角度，距離稱為商品還非常遙遠。
比如，侵入式電極會引起大腦內炎症反應，無法長期使用；記錄大量的神經信號可以顯著提高腦機接口表現，但需要晶片有更強大的處理能力；神經信號的變異性強，同時屬於小樣本數據，解碼器訓練十分困難。
腦機接口是一個交叉學科，需要整合神經科學、材料學、數學、機器學習、人工智慧、集成電路等多方面的共同努力才能創造出完善的產品，這也是Neuralink為人稱道的原因之一。
腦機接口有什麼用？
下面我們通過兩個例子來展示腦機接口當前的發展方向。
重構所見之物
年初來自大阪大學的Shinji Nishimoto的研究團隊發表的一項工作被CVPR
2023（IEEE國際計算機視覺與模式識別會議）接收，該工作實現了通過Stable
Diffusion將大腦活動重建為高解析度的圖像[3]。
被試看到的圖像（第一行）與通過Stable Diffusion生成的圖像（第二行）｜圖源：參考文獻3
掃掃核磁就可以知道人腦內的圖像，是不是很神奇！仿佛讀心術和窺探夢境都不在遙遠。其實，這是腦機接口解碼思路和AI結合的出色範例。
Stable Diffusion是基於潛在擴散模型（Latent Diffusion Model）的圖片生成模型，它可以通過圖片或文字生成圖片或對圖像進行修改。
潛在擴散模型｜圖源：參考文獻3
Stable Diffusion通過訓練自編碼器模型得到編碼器ε和解碼器D，利用編碼器可以將圖片X降維到潛在表徵空間z, 文本信息通過編碼器τ得到語義表徵c，再同經過擴散過程的zr一同得到zc，最後通過解碼器D生成圖像X'。
由此可以發現，LDM模型是由「圖片/文字→潛在表徵→圖片」的過程，而fMRI信號的採集是被試看到圖片時大腦的活動，也就是「圖片→大腦→fMRI」的過程。
Nishimoto等人通過簡單的線性模型構建fMRI和潛在表徵對相同圖片的映射，利用大腦視覺通路的初級區域與高級區域分別解碼得到圖像表徵z和語義表徵c，作為輸入，使得模型生成與被試看到的圖像類似的圖片。
解碼示意圖｜圖源：參考文獻3
在解碼器訓練中，被試往往難以完成大量任務，所以訓練集樣本通常較小；但AI模型可以通過大數據進行訓練以獲得優秀的生成能力；將兩者結合，可以一定程度上解決腦機接口面臨的小樣本訓練以及泛化的問題。
用機械手觸碰世界
侵入式腦機接口很重要的一個應用場景，便是幫助癱瘓患者控制機械臂重獲運動能力。但控制機械臂還遠遠不夠，患者還需要感受到機械臂。
運動控制包含前饋和反饋兩部分，不加修正的快速完成目標運動是前饋，基於感覺不斷修正運動是反饋。比如閉上眼，脫離視覺反饋，我們也可以憑藉記憶拿起桌上的杯子，但如果沒有觸覺反饋，我們很難穩定地握住杯子。
2021年一篇發表在《Science》期刊上的研究工作就實現了向大腦寫入機械手的觸覺信息，從而使患者更靈巧地控制機械手[4]。
Collinger 等人通過植入在患者運動皮層的陣列電極解碼運動意圖控制機械手，同時機械手的觸覺傳感器感受到的信息編碼為不同模式的微電流刺激，通過植入在感覺皮層的電極反饋給患者大腦。這一觸覺反饋的加入使得患者在上肢運動能力評估（ARAT）中取得更好的成績。
雙向腦機接口示意圖｜圖源：參考文獻4
腦機接口並非天方夜譚，也不是橫空出世的新概念，而是已經經過了幾十年的實驗室研究，實現了諸多功能的一項技術。希望在不遠的將來它可以幫助更多的患者更好地生活。
參考文獻
[1] Thakor, N. V. Translating the
brain-machine interface. Sci Transl Med 5, 210ps217, doi:10.1126/scitranslmed.3007303 (2013).
[2] Georgopoulos, A. P., Schwartz, A. B. & Kettner, R. E. Neuronal population coding of movement direction. Science 233, 1416-1419 (1986).
[3] Takagi, Y. & Nishimoto, S. High-resolution image reconstruction with latent diffusion models from human brain activity. 2022.2011.2018.517004, doi:10.1101/2022.11.18.517004 %J bioRxiv (2022).
[4] Flesher, S. N. et al. A brain-computer interface that evokes tactile sensations improves robotic arm control. 372, 831-836, doi:doi:10.1126/science.abd0380 (2021).
作者：葉箋，中國科學院神經科學研究所博士
編輯：小小蒲公英
— END —
轉載內容僅代表作者觀點
不代表中科院物理所立場
如需轉載請聯繫原公眾號
來源：上海科技館
編輯：wnkwef