先進神經晶片中心默罕默德·薩萬教授團隊,自然語言處理實驗室張岳教授團隊和朱君明教授團隊聯合發布了他們最新的研究結果:“A high-performance brain-sentence communication designed for logosyllabic language”.該研究實現腦機介面全譜漢語解碼,一定程度彌補了國際上漢語解碼腦機介面技術的空白。
腦機介面(Brain-computer interface,簡稱BCI)被公認為是未來生命科學和資訊科技交叉融合的主戰場,是具有重要社會價值和戰略意義的研究方向。
腦機介面技術是指在人類或動物腦與外部設備間創建資訊交換的連接通路,其實質是一種新型的資訊傳輸管道,讓資訊能夠繞過原有的肌肉及外圍神經通路實現與外在世界的連通,從而一定程度地取代人的運動、語言等功能。
腦機介面全譜漢語解碼器的設計與效能
今年八月,兩篇背靠背《自然》文章展示了腦機介面在語言恢復方面的強大能力。然而,現有的語言腦機介面技術多是為英文等字母語言體系建構而成,針對漢字等非字母體系的語言腦機介面系統研究仍是空白。
在這個研究中,研究團隊透過立體定位腦電技術(SEEG)擷取所有國語漢字發音過程對應的大腦內神經活動訊號,結合深度學習演算法和語言模型,實現了對全譜漢字發音的解碼,建立起覆蓋所有漢語普通話字元發音的漢語腦機介面系統,實現了大腦活動到完整普通話句子的端到端輸出。
漢語作為一種象形和音節結合的語言,具有超過50000個字符,與由26個字母組合而成的英語具有顯著不同,因此這對於現有的語言腦機接口系統來說是一個巨大的挑戰。為了解決這個問題,在過去三年裡,研究團隊深入分析漢語本身的發音規則和特徵。從漢語發音音節的聲母、聲調和韻母三個要素出發,結合拼音輸入系統的特點,設計了一種全新的適用於漢語的語言腦機介面系統。研究團隊透過設計涵蓋所有407個漢語拼音音節以及漢語發音特點的語音庫並同步收集腦電訊號,建構了超過100小時的漢語語音-SEEG資料庫。透過人工智慧模型訓練,該系統建構了針對漢字發音音節三要素(包括聲母、聲調和韻母)的預測模型,並最終透過語言模型對所有預測得到的元素進行整合,結合語義資訊產生最可能的完整漢語句子。
研究團隊對這腦機介面系統在模擬日常漢語環境中的解碼能力進行了評估。在超過100個隨機選擇的2個字元-15個字元的複雜交流場景解碼測試後,所有參與者字元錯誤率中位數平均僅為29%,部分參與者透過腦電解碼得到的句子完全正確率達到了30%。相對高效的解碼性能得益於三個獨立音節元素解碼器的優秀表現和智慧語言模型的完美配合。特別的是在分類21個聲母方面,聲母解碼器的準確率超過了40%(超過3倍基準線),並且Top 3正確率幾乎達到了100%;而用於區分4個聲調的聲調解碼器的準確率也達到了50%(超過2倍基準線)。除了三個獨立音節元素解碼器的突出貢獻以外,智慧語言模型強大的自動糾錯能力和上下文聯繫能力也讓整個語言腦機介面系統的表現更為突出。
這項研究為漢語這種意音文字語言的BCI解碼研究提供了全新視角,也證明透過強大的語言模型可顯著提高語言腦機介面系統的效能,為未來的意音文字語言神經義肢研究提供了新的方向。這項工作也預示著神經系統疾病患者很快就能透過意念來控制電腦生成漢語句子,重獲溝通能力!
參考內容
https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1.full.pdf
以上是重要突破!西湖大學團隊與浙二醫院共同實現腦機介面中文解碼的詳細內容。更多資訊請關注PHP中文網其他相關文章!

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

介紹 想像一下,穿過美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SAP NetWeaver Server Adapter for Eclipse
將Eclipse與SAP NetWeaver應用伺服器整合。

記事本++7.3.1
好用且免費的程式碼編輯器

Dreamweaver Mac版
視覺化網頁開發工具

SublimeText3 Linux新版
SublimeText3 Linux最新版