国内チームがブレイン・コンピュータ・インターフェース「フルスペクトル中国語デコード」を実現、トップ3正解率ほぼ100％という大きな進歩

今年 8 月、2 つの連続した「Nature」記事で、言語回復におけるブレイン コンピューター インターフェイスの強力な機能が実証されました。既存の言語のブレイン コンピューター インターフェイス技術のほとんどは、「英語およびその他のアルファベット」用に構築されています。 「漢字などの非アルファベット系」の言語脳とコンピュータのインターフェースシステムに関する研究はまだ空白である。

最近、先進ニューラルチップセンターのモハメド・サワン教授のチーム、自然言語処理研究室の張岳教授のチーム、朱俊明教授のチームが共同で最新の研究結果を発表した。コンピュータインターフェースのフルスペクトル中国語解読が実現され、国際的な中国語解読ブレインコンピュータインターフェース技術のギャップをある程度埋めることができます。

写真

論文アドレス: https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

この研究では、定位脳波検査 (SEEG) を使用して、すべての北京語の発音プロセスに対応する脳内の神経活動信号を収集し、深層学習アルゴリズムと言語モデルを組み合わせてフルスペクトルを実現します。漢字の発音のデコードにより、すべての中国語の中国語文字の発音をカバーする中国語の脳とコンピュータのインターフェイス システムが確立され、脳の活動から中国語の文を完成させるためのエンドツーエンドの出力が実現されます。

ブレイン コンピューター インターフェイスの中国語解読

BCI (ブレイン コンピューター インターフェイス) は、ライフ サイエンスと情報テクノロジーの将来の交差点および統合の中核として広く認識されています。 。これは重要な社会的価値と戦略的意義を備えた研究方向です。

ブレイン・コンピュータ・インターフェース技術は、人間または動物の脳を外部デバイスと接続するために設計された新しいタイプの情報伝達チャネルです。情報交換のための接続パス。これにより、情報が元の筋肉や末梢神経の経路をバイパスできるようになり、それによって外界とのつながりが実現され、人間の動き、言語、その他の機能がある程度置き換えられます。 50,000 文字を超える絵文字および音節言語は、26 文字で構成される英語とは大きく異なるため、これは既存の言語の脳とコンピューターのインターフェイス システムにとって大きな課題です。

この問題を解決するために、研究チームは過去 3 年間、中国語の発音規則と特徴の詳細な分析を実施しました。彼らは、中国語の発音音節の頭子音、声調、語尾の 3 つの要素から始めて、ピンイン入力システムの特徴を組み合わせて、中国語に適した全く新しい言語のブレイン コンピューター インターフェイス システムを設計しました。

研究チームは、100 時間以上の中国語音声 SEEG データベースを作成し、407 の中国語ピンイン音節すべてと中国語の発音の特徴をカバーする音声ライブラリを設計し、同時に脳波信号を収集しました

このシステムは、漢字の発音音節の 3 要素 (頭子音、声調、語尾) を予測する人工知能モデルを学習させて予測モデルを構築します。最後に、システムは言語モデルを通じて予測されたすべての要素を統合し、意味情報を組み合わせて、最も可能性の高い完全な中国語文を生成します

画像

研究チームは、日常的な中国語環境におけるブレイン・コンピューター・インターフェース・システムの解読能力を評価しました。 2 ～ 15 文字で構成される複雑なコミュニケーション シナリオのランダムに選択された 100 以上のデコード テストでは、文字エラー率の中央値は参加者全体で平均 29% で、一部のデコードは EEG によって行われました。得られた文の完全な正確率は 30% でした。

比較的効率的なデコード パフォーマンスは、3 つの独立した音節要素デコーダーの優れたパフォーマンスとインテリジェント言語モデルの完璧な連携による恩恵を受けています。特に、21個の頭音の分類に関しては、頭子音デコーダの精度が40％を超え（ベースラインの3倍以上）、上位3位までの正解率はほぼ100％に達しているのに対し、声調デコーダは4音の識別に使用されています。正解率も 50% (ベースラインの 2 倍以上) に達しました。

インテリジェント言語モデルは、言語脳とコンピューターのインターフェイス システム全体で優れたパフォーマンスを発揮します。3 つの独立した音節要素デコーダーの重要な貢献に加えて、その強力な自動エラー修正機能と、文脈上の接続機能も重要な役割を果たしました

#写真

この研究は中国語の音声言語です。 BCI 解読研究は新たな視点を提供するとともに、言語脳とコンピューターのインターフェース システムのパフォーマンスが強力な言語モデルを通じて大幅に向上できることを証明し、音声言語および書き言葉の神経人工器官に関する将来の研究に新たな方向性を提供します

この研究の重要性は、神経疾患を患う患者が間もなくコンピュータで生成された中国語の文章を思考を通じて制御できるようになり、それによってコミュニケーション能力を回復できるようになるということを示していることです。

参考:

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

以上が国内チームがブレイン・コンピュータ・インターフェース「フルスペクトル中国語デコード」を実現、トップ3正解率ほぼ100％という大きな進歩の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。