作者 | 葛松 林衍旎 許勝勇
世界衛生組織報告顯示，中國有700多萬盲人[1]。但在北京、上海等大城市，公眾場合已經很少看到盲人。主要原因是盲人很難適應繁華而複雜的現代城市活動，比如在沒有陪伴的條件下獨自乘坐公交車、地鐵，盲人也難以在功能五花八門的現代商城裡獨自完成購物、吃飯和娛樂等日常活動。
除了人們熟悉的盲文、拐杖和導盲犬等幫助盲人和視覺障礙人群的途徑，科學家、工程師和醫生也聯合起來通過兩大類技術路徑研發了多款複雜的人工視覺輔助系統[2]。第一類試圖用高科技手段重建後天失盲者的部分視覺，並由受試者自己完成圖像判斷而做出相應行動。第二類是運用現代傳感技術獲取環境信息，並轉化成指令後傳輸給盲人，協助盲人行動。
第一類人工視覺輔助裝置主要包括視網膜植入裝置和大腦視覺皮層植入裝置。前者稱為「人工視網膜植入技術」（或「視網膜假體」）[3]，核心器件的植入位置分為視網膜前、視網膜下、脈絡膜上等。以2013年獲准上市的Argus II人工視網膜系統[4]為例，利用外部攝像機捕獲圖像並處理、壓縮編碼，用植入視網膜前的微電極陣列輸出電脈衝。每個電極的輸出電脈衝可激發受試者視網膜上相應位置的神經結細胞，經由視覺神經束傳送激發神經信號到視覺皮層、產生一個黑暗背景中的漫射白光斑。該系統的電極陣列像素為60，受試者在經數月訓練可模糊辨識諸如門框的一些高對比度物體形狀。因器件工藝複雜、價格昂貴（大約15萬美元）、實際效果欠佳，Argus II系統已於2019年停止銷售。而全球各國研發的其他十多種人工視網膜裝置，多數處於試驗階段，鮮有後續進展[2]。在大腦視覺皮層，或者在視神經束側面植入電極陣列引發視覺響應的研究，也都處於早期階段[2]。
第二類人工視覺輔助系統，主要是非植入式、可穿戴裝置。比如早期的聲納探測設備[5]、超聲波拐杖[6]，以及2021年史丹福大學研發的配備GPS和陀螺儀的盲杖[7]等。這些裝置功能相對簡單、指令含糊，不能適應現代城市複雜的環境和路況，因此難以普及。2012年的「谷歌眼鏡」在採集環境圖像後，配合微型晶片處理器、AI圖像解讀軟體和自然語音輸出功能，具備了指導盲人部分日常生活的功能[8]。此外，還有「舌感視覺」的有趣嘗試，利用安置在舌頭表面的微電極陣列進行圖形化刺激、讓受試者「辨識」外界物體形狀[2]。當然，這樣的裝置妨礙了說話和飲食，也不容易普及。
最近，北京大學許勝勇團隊提出了一種新的、可以輔助盲人生活的「遠程盲人導航與陪伴」概念，演示了相應的硬體和軟體以及測試效果（詳情請點擊下方閱讀原文）。該系統藉助最新的遠程無線網絡通訊技術、晶片技術，利用前方人員隨身佩戴的小型電子設備、攝像頭和感應器，以及雲端龐大的資料庫和計算能力，後台人員可以實時、充分地遠程（比如，跨越城市）了解前方的現場景象、環境參數和人員狀態等信息，通過對比雲端資料庫和內存資料庫、AI輔助識別和人工綜合分析，快速獲得最合理的行動方案，並將行動指令及時傳給前方人員。同時，也用語音對話輸出人文關懷，得到前方人員的及時反饋。圖1是系統工作示意圖。左邊為盲人的一些活動場景，包括獨自利用盲杖出行、利用導盲犬出行、警察或好心人攙扶過斑馬線、引導員陪伴參加四百米賽跑等。右圖為系統演示，同樣是盲人，在佩戴遠程通訊、隱蔽觸覺震動裝置、耳機等電子設備後，可以在後台人員和雲計算幫助下，更加安全高效、心情愉快地完成複雜的生活任務，仿佛後台指揮的人員就在身邊陪伴一樣。這是一種充分利用了高科技的「導航與陪伴」。
圖1「遠程盲人導航與陪伴」技術路徑示意圖
可輸出觸覺振動編碼的可佩戴振動裝置可貼附在頭部、頸部、腰部、手腕、腳踝等多處。圖2是一張佩戴我們的「導航與陪伴裝置」、眼睛被全部遮擋的一位實地測試人員在超市購物的照片，她佩戴的振動裝置在鴨舌帽下柔性的內膽里，包含的11個振動馬達被安裝在不同頭頂方位。佩戴測試裝置的受試者在外觀上與幾乎正常路人無異。
圖2 測試人員佩戴「虛擬陪伴裝置」、眼睛被全部遮擋，在一個小超市購物
這裡簡單說明本系統中，後台人員指令採用觸覺編碼方式引導前方使用者行動的原因。眾所周知，觸覺在神經系統進化過程中占據重要位置。早於視覺系統，觸覺在生物體尋找食物、規避傷害、求偶、逃生等功能里發揮了決定性作用。而人體全身皮膚任何位點的觸覺感知都與大腦皮層負責觸覺的區域形成一一對應關係，在觸覺皮層的三維地圖上占據一個獨一無二的坐標點。利用這個特性，在身體的頭部、頸部等區域安裝貼附皮膚的振動馬達或者刺激電極陣列裝置，就可以形成具有「空間矢量」特性的觸覺編碼[9]。
以半球形的頭皮觸覺裝置為例，研究發現頭皮區域的觸覺空間解析度在2~3 cm，比背部略好。基於頭頂半球形皮膚相對於眼睛的固定空間方位，佩戴者能夠自然分辨安裝在不同位置的振動馬達所表達的前、後、左、右等觸覺編碼，並形成肢體動作快速響應。使用者經過10分鐘訓練，其行動準確性即可超過九成。而僅內置4個振動馬達的頸環裝置，就可以通過「空間矢量」形式加上時間序列的觸覺編碼，向使用者準確、高效傳輸行動指令、符號信息和文字信息[9]。這樣的觸覺指令具有隱蔽功能，可以單獨使用，也可以與語音指令並用。
幾種應用場景簡介
該系統先由在讀大學生在校園裡做了大量測試，測試場景包括走廊、操場、校園小路等。在系統優化和觸覺指令優化之後，我們得到一位31歲的全盲志願者協助，在北京海淀區某大街人行道上做了實際測試。該志願者因患有先天性白內障，一歲時手術失敗致全盲，目前在一家按摩院工作。他在佩戴頭部觸覺指令裝之後，在路邊空地經過半小時熟悉指令的訓練學習，就在真實的人行街道處做L型（直行加轉彎測試）路線行走測試，由我們團隊的後台遠程發出行動指令，取得了滿意的測試結果。志願者行走過程中，需要躲避來往的行人、避免與停靠的車輛、路邊的台階和樹木等碰撞，也要及時轉彎。該盲人佩戴系統裝置實測視頻如下。實驗表明，盲人可以準確接受觸覺指令，並且按照指令指示行動，以在一些路況簡單的道路上安全行走。
比較有挑戰的是在全盲條件下，佩戴系統裝置，由遠程後台發出觸覺編碼指令，來協助使用者在實際生活場地騎自行車。我們在校園裡做了測試，在有若干直角轉彎的路段、狹窄彎曲的公園小路等場地，多名受試者均能順利完成騎行，未發生摔倒碰撞。圖3是其中一個現場照片。
圖3 在北京某大學校園測試遠程盲人導航系統騎自行車
其他已經做了大量測試的應用場景包括超市購物、咖啡廳買咖啡和找座位等。比如，超市購物涉及的指令除了和行走避障，還有左轉、右轉、蹲下、挑選商品等。咖啡廳買咖啡並就座，涉及到的指令除了和行走避障測試相同的導航指令，還有左轉、右轉、拿取、手前後左右移動指令。該系統也能用於準確引導手部運動。實際場景測試包括取水、搭積木、拼圖、打撲克牌等，均取得滿意效果。
該系統在後台人工判斷與本地AI判斷相結合領域還有巨大的發展空間。後台人員除了提供行動指令，也可辨識人的面部表情、情緒等AI目前無法準確識別的細節，從而提供一定的情感寄託和幫助。比如服務對象為老人時，可以遠程陪伴老人去銀行、郵局、醫院等地方，更加安心老人的獨自出行；服務對象為小朋友時，可以遠程陪伴做作業等。而本地AI系統可對突然出現的危險事件進行緊急避難反應，比如發現突然闖入行走路徑的行人或車輛，下達緊急停止命令。本地AI也可輔助盲人打撲克、打麻將，提供軟體算法服務。後台人工判斷和本地AI判斷相結合的判斷下，可以為服務對象提供雙重安全保障，提供更加精準的行動指令。
展望
利用身體皮膚觸覺的天然空間方位感和快速響應的特點，觸覺編碼不僅可以準確引導盲人手腳和身體的行動，也能通過類似摩斯碼、手語和旗語等編碼語言，隱秘傳輸大量信息，用於特殊的工作場景。觸覺指令具備靜默、隱蔽、保護隱私等功能。而觸覺和語音的雙重信息轉化，不僅增加了系統工作的安全性和可靠性，也使得個性化服務得以實現。比如，使用者可通過語音反饋自身要求、狀態、對指令的理解，與後台人員進行有效的交流。對不同的應用場景，該系統有潛力發展出不同的器件模式。比如，多攝像頭模式、城市街道導航模式、戶外旅行模式、夜間工作模式、採購模式、日常家居模式、遊戲模式等。在物聯網時代，盲人導航系統也有可能享受「專門識別」待遇，與汽車、摩托車等自動電子系統之間形成底層設備通訊聯繫，從而大大增加盲人出行的安全係數。
據統計，全球中度或重度視力受損或失明者人數已超2億，因此幫助他們參與各項社會活動、提高生活質量，具有重要的現實意義，任重道遠。相對於見諸報導的超聲拐杖、超聲鞋、舌上觸覺陣列辨識物體形狀等技術方案，以及將視覺圖像實時處理後語音輸出指令的盲人眼鏡系統，本文提出的將視覺圖像轉化成觸覺編碼指令並輔以語音描述的遠程導航系統，更具有效性和安全性，系統並不昂貴，有普遍推廣的巨大前景。
1.WHO, 「Vision Impairment and Blindness,」 2018 [M/OL][2021-10-17]. https://www.who.int/en/news-room/fact-sheets/detail/blindness-and-visual-impairment
2.林衍旎,葛松,楊娜娜,等.人工視覺輔助系統：現狀與展望.生物化學與生物物理進展,2021,48(11):1316-1336
3.Villalobos J, Nayagam D a X, Allen P J, et al. A wide-field suprachoroidal retinal prosthesis is stable and well tolerated following chronic implantation. Investi Ophthalmol Vis Sci, 2013, 54(5):3751-3762
4.Humayun M S, Dorn J D, Da Cruz L, et al. Interim results from the international trial of second sight'svisual prosthesis. Ophthalmology, 2012, 119(4): 779-788
5.Brabyn J A. New developments in mobility and orientation aids for the blind. IEEE Trans Biomed Eng, 1982, 29(4): 285-289
6.Hoyle B, Waters D. Mobility AT: the batcane (UltraCane) //Hersh M A, Johnson M A. Assistive Technology for Visually Impaired and Blind People. London: Springer London. 2008: 209-229
7.Patrick S, Arjun T, Mykel J K. Multimodal sensing and intuitive steering assistance improve navigation and mobility for people with impaired vision. Sci Robot, 2021,6(59):eabg6594
8.Pedersen I, Trueman D. Sergey Brin is Batman: google's project glass and the instigation of computer adoption in popular culture. In CHI '13 Extended Abstracts on Human Factors in Computing Systems (CHI EA '13). Association for Computing Machinery, New York, NY, USA, 2013:2089-2098
9.Lin Y N, Li Y C, Ge S, et al. Three-dimensional encoding approach for wearable tactile communication devices. Sensors, 2022, 22(24): 9568