カリフォルニア大学バークレー校のブレイン コンピューター インターフェイスの画期的な進歩: 脳波を使用して音楽を再生し、言語障害を持つ人々に朗報をもたらします。

ブレイン・コンピューター・インターフェースの時代では、毎日新しいことが起こります。

今日は、脳インプラント音楽という 4 つの言葉をお届けします。

具体的には、ある音楽が人の脳内でどのような電波を発しているかをAIで観測し、その電波を人の脳内で直接シミュレートするというものです。特定の種類の病気を治療するという目的を達成するための活動。

#数年前のアルバニー医療センターを振り返って、そこの神経科学者がどのように研究を行ったかを見てみましょう

言語の壁がある人に朗報です!

アルバニー医療センターでは、「The Other Wall」という音楽がゆっくりと響き渡り、病棟全体を満たしました。

てんかんの手術を受ける準備をしている病院のベッドに横たわっている患者は医師ではなく、話を聞いています。

神経科学者は脇に集まり、コンピューター画面に表示される患者の脳を観察します。電位図活動

主な観察内容は、音楽特有の何かを聴いた後に脳の一部の領域で発生する電極活動を観察し、記録された電極活動を観察します。彼らが聞いている音楽を再現できますか?

#上記のコンテンツでは、音楽に関わる要素として、音色、リズム、ハーモニー、歌詞が含まれます

この研究は10年以上にわたって行われています。カリフォルニア大学バークレー校の神経科学者は、実験に参加した 29 人のてんかん患者からのデータの詳細な分析を実施しました。

研究者らは、その結果に基づいてパターンを再構築することに成功しました。音楽セクション

再生された曲の中で、「すべてはただの壁のレンガだった」という歌詞のリズムは非常に印象的です。歌詞はあまり明確ではありませんが、研究者らは解読可能であり、すべてが混乱しているわけではないと述べています。

そしてこの曲は、科学者が脳電極活動を通じて曲の再構築に成功した最初のケ​​ースでもあります。

結果は、脳波を記録して非活性化することによって、一部の音楽要素と音節を捕捉できることを示しています。

これらの音楽要素は、リズム、ストレス、リズムなどを含め、専門用語では韻律と呼ばれます。これらの要素の意味は、言葉だけで表現することはできません。

さらに、これらの頭蓋内脳波 (iEEG) は、脳の表層 (つまり、脳に最も近い層) で発生する活動のみを記録するため、聴覚中枢）パート）なので、こうすれば誰かに盗み聞きされる心配はありません（笑）

でも、脳卒中や麻痺を起こしてコミュニケーションが困難になった人にとって、脳表面の電極活動によるこの種の再生は、音楽の音楽性を再現するのに役立ちます。

明らかに、これは以前のロボットのような鈍いトーンのリプライよりもはるかに優れています。前述したように、言葉だけでは不十分なところがあり、聴くのは音色です。

これは驚くべき結果であると、ヘレン・ウイルス神経科学研究所の神経科学者であり、カリフォルニア大学バークレー校の心理学教授であるロバート・ナイト氏は述べています。

「私にとって、音楽の魅力の 1 つは、その前奏と、それが表現する感情的な内容にあります。ブレイン コンピューター インターフェイスの分野での継続的な進歩により、このテクノロジーは、埋め込みによって音楽だけが提供できるものを必要としている人々に届ける。聴衆には、ALS に苦しむ患者やてんかん患者、つまり言語出力神経に影響を与える病気を持つ人が含まれる可能性がある。」 # つまり、言語そのものだけではなく、音楽に比べて言葉で表現される感情は少し薄く感じられるかもしれません。私たちはこれから、本当の意味での解釈の旅を始めると信じています

脳波記録技術の進歩により、将来、脳を開かずに頭皮に取り付けた電極を通して記録できるようになるかもしれません。

ナイト氏は、現在の頭皮脳波はすでに、大きな文字列から単一の文字を検出するなど、一部の脳活動を測定および記録できると述べた。各文字に少なくとも 20 秒かかるため、あまり効率的ではありませんが、それでも始まりには変わりません。

頭皮電極の開発が精力的に行われている理由は、非侵襲技術の習熟度が現在のレベルでは不十分であるためです。つまり、開頭計測は100%の安全性を保証するものではなく、特に脳深層の計測においては頭皮電極の計測精度を向上させる必要がある。ある程度の成功を収めたと言えますが、完全には成功していません。

あなたは心が読めますか?

直接答えてください: いいえ。

たとえば、話すことが困難な人にとって、ブレイン・コンピュータ・インターフェース技術は「キーボード」を与えるのと同じです。脳波活動を捕捉することで、キーボードを入力することができます。キーボード」で表現したいことを表現する。

#たとえば、ホーキング博士を例に挙げると、彼が使用したデバイスは、脳波をキャプチャすることでロボットの音声を生成するものです

##アナロジーで理解できるはずです。この「キーボード」を見ただけでは、何を考えているのかわかりません。テクノロジーにより、キーボードをアクティブにして音声を出力できるようになりました。誰も入力しようとしない場合、キーボードは起動せず、キーボードが何を考えているのかわかりません。

したがって、心を読むことは不可能です

実験内容

下の図を見てください、図Aに実験で使用した曲の全体波形図を示します。以下の図 A は、この曲の聴覚スペクトログラムです。上部のオレンジ色のバーは、ボーカルの存在を示します。

図 B は、X 線下の患者の電極範囲を示しています。各点は電極を表します。

写真 C は、写真 B の 4 つの電極の電極信号を示しています。同時に、この図は、歌の刺激によって誘発される高周波活動 (HFA) も示しています。これは、スライドする黒い短い線で表されており、周波数は 70 ～ 150 Hz

です。図 D は、曲再生の短いセクション (10 秒) の増幅された聴覚スペクトログラムと電極神経活動マップを示しています。 HFA の時点が、スペクトログラム内のマークされた各四角形の右側にある赤い線と一致していることが観察できます。

これらのペアの状況は、トレーニングと例に使用される研究者を構成します。コーディングモデルの評価。

研究者らの実験結果は、デコードモデルで予測子として使用される電極の数と予測精度の間に対数関係があることを示しています。図に示すように、次のようになります。

たとえば、80% の最高の予測精度は、43 個の電極 (または 12.4%) を使用すると得られます (最高の予測精度は、すべての電極を使用した結果です) 347 電極）。

同じ関係が 1 人の患者でも観察され、これが研究者らの発見です。

さらに、ブートストラップ分析を通じて、研究者らは次のことを観察しました。以下の図に示すように、データセットの期間と予測精度の間には、同様の対数関係があります。

たとえば、69 秒 (全体の長さの 36.1%) のデータを使用すると、90% のデータを取得できます。最高のパフォーマンス (最高のパフォーマンスは、190.72 秒の長さの曲全体のデータを使用して得られます)

モデル タイプに関して、リニア デコードの平均デコード精度は 0.325 ですが、二重層 全結合ニューラル ネットワークの非線形デコードの平均デコード精度は 0.429 です。

全体的に、リニアな音楽曲の再構成 (オーディオ S2) は、いくつかの音楽要素 (ボーカルの音節やリード ギターを指す) の存在を示す強いリズミカルな手がかりがあり、くぐもったように聞こえますが、他の人にとっては役に立たない可能性があります。一部の要素は制限されています。

非線形曲再構成 (オーディオ S3) は、線形再構成よりも豊かな詳細を備えた認識可能な曲を再現します。ピッチや音色などのスペクトル要素の知覚品質が大幅に向上し、音素の特徴がより明確に認識できるようになります。線形再構成に存在するいくつかの認識盲点もある程度改善されました。

次は図です。

そこで研究者らは、非線形モデルを使用して、29 人目の患者の 61 個の電極から歌を再構築しました。

これらのモデルのパフォーマンスは、すべての患者電極に基づく線形再構成よりも優れていますが、デコード精度は 347 を使用して得られるものほど良くありません。すべての患者から採取した電極 精度

知覚の点では、これらの単一患者ベースのモデルは、研究者が曲を識別するのに十分なスペクトル時間的詳細を提供しました (オーディオ S4)

同時に、1 人の患者に基づいてデコードの下限を評価するために、研究者らは、23 個と 17 個の電極の数が少ない他の 3 人の患者の脳神経活動から歌を再構築しました。前述の29人目の患者の電極数は61本であり、電極密度も比較的低かった。もちろん、曲の応答領域は依然としてカバーされており、リニアデコードの精度も良好であると考えられます。

研究者らは、再構成された波形 (オーディオ ファイル S5、S6、S7) から人間の声の一部を取得しました。次に、元の曲のスペクトログラムとデコードされた曲を相関させることにより、デコードされた曲の認識可能性を定量化しました。

線形再構成 (以下の図 A) と非線形再構成 (以下の図 B) の両方で、より高い割合の正しい認識率が得られます。

さらに、研究者らは、さまざまな音楽要素の効果を評価するために、347 個すべての重要な電極の STRF (スペクトル時間受容野) 係数を分析しました。脳領域の異なるエンコーディングに基づいて。

この分析により、独特のスペクトル的および時間的同調パターンが明らかになります

歌のスペクトログラムと神経活動の関係を完全に特徴付けるために、研究者らは独立したコンポーネントを実行しました。すべての重要なSTRFに関する分析(ICA)。

研究者らは、異なるスペクトル時間調整パターンを持つ 3 つの成分を発見しました。各成分の分散説明率は 5% を超え、合計分散説明率は 52.5% に達しました。以下に示すとおりです。

最初の部分 (説明分散 28%) は、約 500Hz から 7000Hz までの広い周波数範囲に分布する正の係数のクラスターを示しており、HFA が観察されます。狭い時間枠内で見ることができます。

前の約 90ms のこの一時的なクラスターは、音の立ち上がりのチューニングを示しています。この部分は初期部分と呼ばれ、以下の図に示すように、両側 STG の後部の電極にのみ表示されます。

最後に、研究者らは、将来の研究では電極の適用範囲を拡大したり、モデルの特性や目標を変更したり、新しい動作次元を追加したりする可能性があると述べた。

以上がカリフォルニア大学バークレー校のブレイン コンピューター インターフェイスの画期的な進歩: 脳波を使用して音楽を再生し、言語障害を持つ人々に朗報をもたらします。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。