기계 학습을 사용하여 15년 동안 "무성" 상태였던 뇌를 해독하고 "말하게" 합니다.

​빅데이터 추상 작업

저자: Miggy

마비 환자에게 가장 큰 고통은 외부 세계와 소통할 수 없다는 점입니다. 뇌는 여전히 활성화되어 표현을 원하지만 성대 근육을 구동할 수 없기 때문에 이러한 환자의 언어 메커니즘은 점차 저하됩니다.

샌프란시스코 캘리포니아대학교 신경외과 과장인 에드워드 장(Edward Chang)은 언어 능력을 상실한 사람들을 위한 뇌-컴퓨터 인터페이스 기술을 개발하고 있습니다. 그의 연구실은 성도 명령과 관련된 뇌 신호를 해독하고 신경 임플란트를 통해 컴퓨터를 통해 뇌의 언어 기능을 출력하는 데 전념하고 있습니다. 이 프로젝트에는 현재 사용 가능한 최고의 신경기술 하드웨어뿐만 아니라 강력한 기계 학습 모델도 필요했습니다.

최근에는 이 기술도 크게 발전해 마비로 인해 15년 동안 '무성' 상태였던 환자가 컴퓨터를 이용해 외부 세계와 소통할 수 있게 됐다. Chang은 또한 이 기술 프로세스를 기록하여 IEEE에 게시했습니다.

한번 살펴보겠습니다.

15년 동안 말을 하지 않은 뇌가 "말하게" 하세요

컴퓨터 화면에 "물 마실래?"라는 메시지가 떴습니다. "이 질문입니다. 아래에는 세 개의 작은 점들이 깜박인 후 한 줄의 단어가 나타납니다. "아니요, 저는 목마르지 않습니다. ”

뇌 활동은 의사소통을 가능하게 합니다. 이 대화를 만들어낸 뇌는 뇌졸중으로 인해 15년 이상 말을 하지 못한 벙어리 사람의 뇌였다는 점을 언급할 가치가 있습니다. 신체의 다른 부분 환자의 외부 세계와의 의사소통이 중단되었습니다. 그는 외부 세계와 의사소통을 시도하기 위해 많은 새로운 기술을 시도했습니다. 가장 최근에는 야구 모자에 부착된 포인터를 사용하여 터치 스크린에서 단어를 탭했습니다. 효과적이지만 느립니다.

최근 이 환자는 더 빠른 의사소통 방법을 모색하기 위해 샌프란시스코 캘리포니아 대학교에서 진행된 우리 연구 그룹의 임상 시험에 자원했습니다. 지금까지 그는 연구 중에 뇌에만 접근할 수 있었습니다. 그는 텍스트를 생성하지만 이 기술을 그와 같은 사람들이 일상 생활에서 사용할 수 있는 기술로 개발하는 데 도움이 되기를 바라고 있습니다.

파일럿 연구에서 이 자원봉사자는 얇고 유연한 전극 배열로 뇌 표면을 덮고 신경 신호를 기록하고 말을 할 수 없는 마비된 사람이 신경 기술을 사용하여 문자뿐만 아니라 단어 전체를 "방송"한 것은 이번이 처음입니다.

이 실험은 언어를 지배하는 기본 뇌 메커니즘에 대한 10년 이상의 연구의 정점이며, 우리는 지금까지 달성한 ​​성과를 매우 자랑스럽게 생각합니다. 그러나 우리는 이제 막 시작했습니다. UCSF는 이 기술을 집에서 일상적으로 사용할 수 있을 만큼 안전하고 안정적이며 신뢰할 수 있도록 만들기 위해 전 세계 동료들과 협력하고 있습니다. 우리는 또한 시스템 성능을 향상시키기 위해 노력하고 있으므로 노력할 가치가 있습니다

두뇌-컴퓨터 인터페이스가 제공했습니다.

신경 임플란트는 어떻게 작동하나요?

청력을 위한 보철 임플란트는 지난 20년 동안 가장 발전했습니다. 인공 손에 촉각 감각을 제공하려는 노력뿐만 아니라 망막 및 뇌 이식에 대한 광범위한 연구도 있습니다.

지난 주 Digest Magazine에서는 후각 상실 환자가 미각을 회복하는 데 도움이 되는 임플란트에 대해 보도했습니다.

또 다른 종류의 신경 보철은 뇌의 전기 활동을 기록하고 이를 로봇 팔, 비디오 게임 컨트롤러 또는 컴퓨터 화면의 커서와 같은 외부 세계를 제어하는 ​​신호로 변환합니다. 이 마지막 유형은 마비된 사람들이 제어할 수 있는 방법으로 BrainGate 컨소시엄과 같은 조직에서 사용되었습니다. 단어 입력 - 때로는 한 번에 한 글자씩, 때로는 자동 완성 기능을 사용하여 입력 속도를 높입니다.

뇌를 통한 이러한 유형의 입력은 새로운 것이 아니지만 연구자들은 종종 2021년 논문에서 또 다른 접근 방식을 개척했습니다. 운동 피질에 있는 나의 협력자 중 일부는 움직임을 제어하는 ​​뇌 부분입니다. 이를 통해 사용자는 펜을 종이에 대고 편지를 쓰고 있다고 상상할 수 있으며, 운동 피질에서 텍스트로 변환되는 신호를 생성합니다. 이 방법은 자원봉사자들이 분당 약 18단어를 쓸 수 있게 해 타이핑 속도에 대한 새로운 기록을 세웠습니다.

최신 실험실 연구에서 우리는 보다 효율적인 접근 방식을 취했습니다. 커서나 펜을 움직이려는 사용자의 의도를 해독하는 대신 우리는 후두(종종 성대라고 함), 혀, 입술을 제어하는 ​​수십 개의 근육을 포함하여 성도를 제어하려는 의도를 해독합니다.

마비 환자의 경우 정교한 신경기술 하드웨어와 그의 뇌 신호를 해독하는 기계 학습 시스템을 통해 겉으로는 단순해 보이는 대화 설정이 가능해졌습니다.

저는 이 분야에서 일하기 시작한 지 10년이 넘었습니다. 신경외과 의사로서 나는 심각한 부상을 입어 말을 할 수 없는 환자를 자주 봅니다. 놀랍게도 뇌 손상 위치가 의과대학에서 배운 증후군과 일치하지 않는 경우가 많았으며, 뇌가 언어를 처리하는 방식에 대해 아직 배울 것이 많다는 것을 깨달았습니다. 나는 언어의 근본적인 신경생물학을 연구하고, 가능하다면 언어를 잃은 사람들의 의사소통을 회복하기 위한 뇌-기계 인터페이스(BMI)를 개발하기로 결정했습니다. 저의 신경외과 경력 외에도 저희 팀은 언어학, 전기공학, 컴퓨터 과학, 생명공학, 의학 분야의 전문 지식을 갖추고 있습니다.

근육이 말하는 데 도움이 되는 방법​

언어는 인간을 독특하게 만드는 능력 중 하나입니다. 다른 많은 종들도 소리를 내지만 오직 인간만이 일련의 소리를 결합하여 수많은 다른 방식으로 표현합니다. 이는 또한 매우 복잡한 모터 동작입니다. 일부 전문가는 이를 사람들이 수행하는 가장 복잡한 모터 동작으로 간주합니다. 말은 성도를 통한 조절된 공기 흐름의 산물입니다. 우리는 후두 성대에 가청 진동을 생성하고 입술, 턱 및 혀의 모양을 변경하여 호흡을 형성합니다.

성도의 많은 근육은 몇 가지 정해진 방법으로만 움직일 수 있는 팔, 다리 등 관절 기반 근육과 완전히 다릅니다. 예를 들어, 입술을 제어하는 ​​근육은 괄약근인 반면, 혀를 구성하는 근육은 수압에 의해 더 잘 제어됩니다. 혀는 기본적으로 고정된 양의 근육 조직으로 구성되어 있으므로 혀의 한 부분을 움직이면 혀의 위치가 변경됩니다. 다른 곳에서 모양을 만드세요. 이러한 근육의 움직임을 제어하는 ​​물리학은 이두근이나 햄스트링의 움직임과 완전히 다릅니다.

관련된 근육이 너무 많고 각 근육의 자유도가 너무 높기 때문에 기본적으로 가능한 구성의 수는 무한합니다. 그러나 사람들이 말할 때 상대적으로 적은 수의 핵심 동작(언어에 따라 다름)을 사용하는 것으로 나타났습니다. 예를 들어, 영어 사용자가 "d" 소리를 발음할 때는 혀를 치아 뒤에 놓고, "k" 소리를 발음할 때는 혀 밑부분이 입 뒤쪽의 천장에 닿을 정도로 올라갑니다. 가장 간단한 단어를 말하는 데 필요한 정확하고 복잡하며 조화로운 근육 움직임을 깨닫는 사람은 거의 없습니다.

팀원 David Moses는 환자의 뇌파 판독값을 보고[왼쪽 화면] 디코딩 시스템 활동이 표시됩니다[오른쪽 화면].

저의 연구 그룹은 얼굴, 목, 입, 혀의 근육에 움직임 명령을 보내는 뇌의 운동 피질 부분에 중점을 두고 있습니다. 이 뇌 영역은 다중 작업을 수행합니다. 말을 생성하는 근육 움직임뿐만 아니라 삼키기, 미소 짓기, 키스를 만드는 동일한 근육의 움직임을 관리합니다.

이러한 영역의 신경 활동을 연구하려면 밀리미터 수준의 공간 해상도와 밀리초 수준의 시간 해상도가 필요합니다. 역사적으로 비침습적 영상 시스템은 둘 중 하나만 제공할 수 있었지만 둘 다를 제공할 수는 없었습니다. 우리가 이 연구를 시작했을 때, 우리는 뇌 활동 패턴이 음성의 가장 간단한 구성 요소인 음소 및 음절과 어떻게 관련되는지에 대한 데이터가 거의 없다는 것을 발견했습니다.

여기서는 자원봉사자들에게 감사의 말씀을 전하고 싶습니다. UCSF 간질 센터에서는 수술을 준비하는 환자의 뇌 표면에 며칠 동안 전극을 외과적으로 배치하여 발작과 관련된 영역을 지도화하는 경우가 많습니다. 이러한 유선 중단 시간 동안 많은 환자들이 뇌의 전극 기록을 활용하는 신경 연구 실험에 자원하여 참여하여 환자가 말하는 동안 신경 활동 패턴을 연구할 수 있었습니다.

관련된 하드웨어를 ECoG(Electrocorticography)라고 합니다. ECoG 시스템의 전극은 뇌를 관통하지 않고 뇌 표면에 위치합니다. 우리의 배열에는 수백 개의 전극 센서가 포함될 수 있으며 각 센서는 수천 개의 뉴런을 기록합니다. 지금까지 우리는 256개 채널을 가진 어레이를 사용했습니다. 초기 연구에서 우리의 목표는 사람들이 간단한 음절을 말할 때 피질 활동의 패턴을 발견하는 것이었습니다. 우리는 자원봉사자들에게 특정 소리와 단어를 말하도록 요청했으며, 동시에 그들의 신경 패턴을 기록하고 혀와 입의 움직임을 추적했습니다. 때때로 우리는 환자에게 다채로운 얼굴 페인트를 바르게 하고 컴퓨터 비전 시스템을 사용하여 운동 동작을 추출함으로써 이를 수행하며, 다른 경우에는 환자의 턱 아래에 배치된 초음파 기계를 사용하여 움직이는 혀를 이미지화합니다.

이 시스템은 운동 피질에서 신호를 수신하기 위해 환자의 뇌에 겹쳐지는 유연한 전극 배열로 시작됩니다. 어레이는 특히 환자의 성도에 대한 움직임 명령을 포착합니다. 두개골에 고정된 포트는 컴퓨터 시스템에 연결된 전선으로 연결되며, 컴퓨터 시스템은 뇌 신호를 해독하고 이를 환자가 말하고 싶은 내용으로 변환하여 디스플레이에 답변을 표시합니다.

우리는 이러한 시스템을 사용하여 신경 패턴을 성도의 움직임에 일치시킵니다. 처음에는 Neural Code에 대해 많은 질문이 있었습니다. 한 가지 가능성은 신경 활동이 특정 근육의 방향을 인코딩한다는 것입니다. 뇌는 본질적으로 키보드의 키를 누르는 것처럼 해당 근육을 켜고 끄고 또 다른 패턴을 통해 근육이 수축하는 속도를 결정합니다. 또 다른 것은 신경 활동이 특정 소리를 생성하는 데 사용되는 근육 수축의 조화로운 패턴에 해당한다는 것입니다. (예를 들어 "아아"라는 소리를 내려면 혀와 턱이 모두 떨어져야 합니다.) 우리는 다양한 뇌 영역뿐만 아니라 성도의 다양한 부분을 제어하는 ​​표상 지도가 있음을 발견했습니다. 우리는 이 두 가지를 결합하여 유창한 말을 만들어낼 수 있습니다.

오늘날 신경 기술에서 인공 지능의 유용성

우리의 작업은 지난 10년 동안의 인공 지능의 발전에 달려 있습니다. 신경 활동과 음성 운동학에 대해 수집된 데이터를 신경망에 공급한 다음 기계 학습 알고리즘이 두 데이터 세트 간의 상관 관계에서 패턴을 찾도록 하여 신경 활동과 생성된 음성 간의 연결을 설정하고 이를 사용할 수 있습니다. 컴퓨터로 생성된 음성이나 텍스트를 생성하는 모델입니다. 그러나 이 기술은 데이터의 절반이 누락되어 마비된 사람들을 위한 알고리즘을 훈련할 수 없습니다. 즉, 신경 패턴은 있지만 해당 근육 움직임은 없습니다.

우리는 기계 학습을 사용하는 더 현명한 방법은 문제를 두 단계로 나누는 것임을 깨달았습니다. 먼저 디코더는 뇌의 신호를 성도 근육의 의도된 움직임으로 변환한 다음 이러한 의도된 움직임을 합성된 음성이나 텍스트로 변환합니다.

인체의 생물학적 움직임 패턴을 복제하기 때문에 이를 생체 공학적 접근 방식이라고 부릅니다. 신경 활동은 성도의 움직임에 직접적으로 영향을 미치며 생성되는 소리에는 간접적으로만 영향을 미칩니다. 이 접근 방식의 가장 큰 장점은 근육 움직임을 소리로 변환하도록 디코더를 훈련시키는 두 번째 단계입니다. 성도 운동과 소리 사이의 관계에 더 쉽게 접근할 수 있기 때문에 우리는 마비되지 않은 사람들의 대규모 데이터 세트에서 디코더를 훈련할 수 있었습니다.

다음 큰 과제는 실제로 혜택을 누릴 수 있는 사람들에게 기술을 제공하는 것입니다.

국립보건원(NIH)은 2021년에 시작될 파일럿 시험에 자금을 지원하고 있습니다. 우리는 이미 ECoG 어레이를 이식한 두 명의 마비 자원봉사자를 보유하고 있으며 앞으로 더 많은 사람을 모집할 수 있기를 바랍니다. 주요 목표는 의사소통을 개선하는 것이며 성과를 분당 단어 수로 측정합니다. 풀 키보드를 사용하는 평균 성인 타이핑은 분당 40단어를 입력할 수 있으며, 가장 빠른 타이피스트는 분당 80단어 이상의 속도에 도달합니다.

미래: 텍스트 출력 대신 음성 사용

음성 시스템을 사용하여 말하는 것이 더 나은 효과를 낼 것이라고 믿습니다. 인간은 타이핑하는 것보다 훨씬 빠르게 말합니다. 영어 사용자는 분당 150단어를 쉽게 생산할 수 있습니다. 우리는 마비된 사람들이 분당 100단어로 의사소통하기를 원합니다. 이 목표를 달성하려면 아직 해야 할 일이 많습니다.

임플란트 시술과정은 다른 임플란트와 비슷합니다. 먼저 외과 의사가 두개골의 작은 부분을 제거한 다음 유연한 ECoG 어레이를 피질 표면에 부드럽게 배치합니다. 그런 다음 작은 포트를 두개골에 고정하고 두피에 있는 별도의 구멍을 통해 빠져나갑니다. 현재 전극에서 데이터를 전송하기 위해 외부 전선에 연결하는 이 포트가 필요하지만 앞으로 시스템을 무선으로 만들 수 있기를 바랍니다.

우리는 더 작은 신경 집단을 기록하여 신경 활동에 대해 더 많은 세부 정보를 제공할 수 있기 때문에 관통형 미세 전극 사용을 고려했습니다. 그러나 현재 하드웨어는 임상용 ECoG만큼 강력하고 안전하지 않습니다.

또 다른 고려 사항은 관통 전극이 신경 신호를 명확한 명령으로 변환하기 위해 매일 재보정해야 하는 경우가 많다는 것입니다. 신경 장치에 대한 연구에 따르면 사람들이 이 기술을 사용하게 하려면 설정 속도와 성능 신뢰성이 핵심인 것으로 나타났습니다. 이것이 바로 우리가 장기간 사용을 위한 "플러그 앤 플레이" 시스템을 만들 때 안정성을 최우선으로 생각하는 이유입니다. 우리는 자원 봉사자들을 대상으로 시간이 지남에 따라 신경 신호의 변화를 조사한 연구를 수행했으며 디코더가 여러 세션과 날짜에 걸쳐 데이터 패턴을 사용할 경우 더 나은 성능을 발휘한다는 것을 발견했습니다. 기계 학습 용어에서는 디코더의 "가중치"가 상속되어 통합된 신경 신호가 생성된다고 말합니다.

우리의 마비된 자원봉사자들은 뇌 패턴을 관찰하는 동안 말을 할 수 없었기 때문에 첫 번째 자원봉사자에게 두 가지 다른 접근법을 시도하도록 요청했습니다. 그는 "배고프다", "목마름", "제발", "도와주세요", "컴퓨터" 등 일상적으로 사용하기 편리한 50개의 단어 목록으로 시작했습니다. 몇 달에 걸쳐 48번의 세션 동안 우리는 때때로 그에게 목록에 있는 각 단어를 말하는 것을 상상해 보라고 요청했고 때로는 그에게 말하고 그 단어를 "말"해 보라고 요청했습니다. 우리는 말하려고 노력하면 디코딩 알고리즘을 훈련하기에 충분한 더 명확한 뇌 신호가 생성된다는 것을 발견했습니다. 그러면 자원봉사자는 목록에 있는 단어를 사용하여 "아니요, 목마르지 않아요"와 같이 자신이 선택한 문장을 생성할 수 있습니다.

우리는 현재 어휘 확장을 위해 노력하고 있습니다. 이를 달성하려면 현재 알고리즘과 인터페이스를 지속적으로 개선해야 하지만 이러한 개선은 앞으로 몇 달, 몇 년 안에 이루어질 것이라고 믿습니다. 이제 원리 증명이 확립되었으므로 목표는 최적화입니다. 우리는 시스템을 더 빠르고, 더 정확하고, 가장 중요하게는 더 안전하고 안정적으로 만드는 데 집중할 수 있습니다. 이제 상황이 빠르게 진행되어야 합니다.

우리가 해독하려는 뇌 시스템과 마비가 활동을 어떻게 변화시키는지 더 잘 이해할 수 있다면 가장 큰 혁신이 이루어질 수 있습니다. 우리는 성도 근육에 명령을 보낼 수 없는 마비 환자의 신경 패턴이 명령을 보낼 수 있는 간질 환자의 신경 패턴과 매우 다르다는 것을 깨달았습니다. 우리는 BMI 엔지니어링이라는 야심찬 업적을 시도하고 있지만, 근본적인 신경과학에 대해서는 아직 배울 것이 많습니다. 우리는 이 모든 것이 합쳐져서 환자들에게 의사소통 능력을 제공한다고 믿습니다.

자료 출처: https://spectrum.ieee.org/brain-computer-interface-speech​

위 내용은 기계 학습을 사용하여 15년 동안 "무성" 상태였던 뇌를 해독하고 "말하게" 합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!