AI 독서 뇌가 폭발한다! 뇌 이미지 스캔 및 Stable Diffusion으로 이미지를 사실적으로 재현

호그와트의 마법이 없어도 다른 사람들이 어떻게 생각하는지 볼 수 있습니다!

방법은 매우 간단하며 Stable Diffusion을 기반으로 뇌 이미지를 시각화합니다.

예를 들어 여러분이 보는 곰, 비행기, 기차는 이렇게 생겼어요.

AI가 뇌 신호를 볼 때 생성되는 이미지는 다음과 같으며 필요한 모든 지점이 있음을 보여줍니다.

이 AI 두뇌 판독 기술은 CVPR 2023에서 막 승인되어 팬들에게 즉각적인 "두개내 오르가즘"을 선사합니다.

정말 거칠어요! 프로젝트를 유도하는 것은 잊어버리세요. 이제 두뇌를 사용하여 해당 사진에 대해 "생각"하면 됩니다.

fMRI 데이터에서 시각적 이미지를 재구성하기 위해 Stable Diffusion을 사용한다고 상상해보세요. 이는 미래에 비침습적 뇌-컴퓨터 인터페이스의 개발을 의미할 수 있습니다.

AI가 인간의 언어를 직접 건너뛰고 인간의 두뇌에서 생각하는 것을 인식하게 하세요.

그때쯤이면 Musk가 개발한 Neuralink도 이 AI 천장을 따라잡을 것입니다.

세밀하게 조정할 필요 없이 AI를 사용하여 생각하는 내용을 직접 재현합니다

그렇다면 AI는 어떻게 뇌 읽기를 실현할까요?

최신 연구는 일본 오사카 대학 연구팀의 연구 결과입니다. ㅋㅋㅋ CT 연구진은 잠재적인 확산 가능성을 기반으로 보다 구체적으로는 Stable Diffusion을 통해 fMRI 데이터로부터 시각적 경험을 재구성하는 모델(LDM)입니다.

전체 작업 프로세스의 프레임워크도 매우 간단합니다. 이미지 인코더 1개, 이미지 디코더 1개, 의미 체계 디코더 1개입니다.

이를 통해 팀에서는 복잡한 AI 모델을 훈련하고 미세 조정할 필요가 없어졌습니다.

훈련해야 하는 것은 하부 및 상부 시각 뇌 영역의 fMRI 신호를 단일 안정 확산 구성요소에 매핑하는 간단한 선형 모델뿐입니다.

구체적으로 연구원들은 뇌 영역을 이미지 및 텍스트 인코더에 대한 입력으로 매핑했습니다. 하위 뇌 영역은 이미지 인코더에 매핑되고 상위 뇌 영역은 텍스트 인코더에 매핑됩니다. 이를 통해 시스템은 재구성을 위해 이미지 구성 및 의미론적 콘텐츠를 사용할 수 있습니다.

첫 번째는 디코딩 분석입니다. 연구에 사용된 LDM 모델은 이미지 인코더 ε, 이미지 디코더 D, 텍스트 인코더 τ로 구성됩니다.

연구원들은 각각 초기 및 상위 수준 시각 피질의 fMRI 신호에서 재구성된 이미지 z와 관련 텍스트 c의 잠재 표현을 디코딩하고 이를 입력으로 사용하여 오토인코더에 의해 재현된 이미지 Xzc를 생성했습니다.

그런 다음 연구원들은 LDM의 내부 작동 메커니즘을 탐색하기 위해 LDM의 다양한 구성 요소에서 fMRI 신호를 예측하는 코딩 모델을 구축했습니다.

연구원들은 NSD(Natural Scenes Dataset)의 fMRI 이미지를 사용하여 실험을 수행하고 Stable Diffusion을 사용하여 피험자가 본 것을 재구성할 수 있는지 테스트했습니다.

코딩 모델과 LDM 관련 잠상 예측 정확도를 볼 수 있는데, 마지막 모델이 뇌 뒤쪽의 시각 피질에서 가장 높은 예측 정확도를 생성합니다.

주체의 시각적 재구성 결과는 z로만 재구성된 이미지가 원본 이미지와 시각적으로 일치하지만 의미적 내용을 포착할 수 없음을 보여줍니다.

c만을 사용하여 재구성한 이미지는 의미 충실도가 더 좋지만 시각적 일관성이 좋지 않은 반면, zc를 사용하여 재구성한 이미지는 높은 의미 충실도와 고해상도를 모두 가질 수 있습니다.

모든 피사체의 동일한 이미지에 대한 재구성 결과는 서로 다른 피사체 간에 재구성 효과가 안정적이고 비교적 정확하다는 것을 보여줍니다.

구체적인 세부 사항의 차이는 재구성 과정의 오류보다는 개인마다 느끼는 지각 경험이나 데이터 품질의 차이에서 비롯될 수 있습니다.

마지막으로 정량평가 결과를 그래프로 나타내었습니다.

다양한 결과를 통해 연구에 사용된 방법은 낮은 수준의 시각적 외양을 포착할 수 있을 뿐만 아니라 원래 자극의 높은 수준의 의미적 내용도 포착할 수 있음을 보여줍니다.

이러한 관점에서 실험은 이미지와 텍스트 디코딩의 조합이 정확한 재구성을 제공한다는 것을 보여줍니다.

연구자들은 피험자 간 정확도에 차이가 있지만 이러한 차이는 fMRI 영상의 품질과 관련이 있다고 말했습니다. 팀에 따르면 재구성의 품질은 현재 SOTA 방법과 비슷하지만 여기에 사용되는 AI 모델의 교육이 필요하지 않습니다.

동시에 팀은 fMRI 데이터에서 파생된 모델을 사용하여 역확산 과정에서 의미 콘텐츠가 어떻게 생성되는지, U-Net 과정에서 어떤 일이 발생하는지 등 Stable Diffusion의 개별 빌딩 블록을 연구하고 있습니다. .

잡음 제거 과정의 초기 단계에서는 U-Net의 병목 계층(주황색)이 가장 높은 예측 성능을 발휘하며, 잡음 제거 과정이 진행됨에 따라 초기 레이어(파란색)는 초기 시각 피질 활동에 대한 예측을 수행하며, 병목층은 높은 수준의 시각 피질로 변합니다.

이는 확산 과정 초기에 이미지 정보가 병목 레이어에서 압축되고 노이즈 제거를 통해 시각 피질에 U-Net 레이어 간의 분리가 나타난다는 것을 의미합니다.

또한 팀은 다양한 확산 단계에서 이미지 변형에 대한 정량적 설명을 위해 노력하고 있습니다. 이러한 방식으로 연구자들은 널리 사용되지만 이해가 아직 제한적인 확산 모델을 생물학적 관점에서 더 잘 이해하는 데 기여하는 것을 목표로 합니다.

인간의 뇌 이미지는 이미 AI로 해독되었다고요?

수년 동안 연구자들은 인공 지능 모델을 사용하여 인간 두뇌의 정보를 해독해 왔습니다.

대부분의 방법의 핵심은 미리 녹음된 fMRI 이미지를 텍스트 또는 이미지의 생성 AI 모델에 대한 입력으로 사용하는 것입니다.

예를 들어, 2018년 초 일본 연구진은 신경망이 fMRI 녹음에서 이미지를 재구성할 수 있는 방법을 시연했습니다.

2019년 한 그룹이 원숭이 뉴런의 이미지를 재구성했고, Jean-Remi King이 이끄는 Meta의 연구 그룹은 fMRI 데이터에서 텍스트를 파생하는 등 새로운 연구를 발표했습니다.

2022년 10월, 오스틴에 있는 텍사스 대학교 팀은 GPT 모델이 fMRI 스캔에서 사람이 비디오에서 보는 내용의 의미론적 내용을 설명하는 텍스트를 추론할 수 있음을 보여주었습니다.

2022년 11월 싱가포르 국립 대학교, 홍콩 중문 대학교, 스탠포드 대학교의 연구원들은 MinD-Vis 확산 모델을 사용하여 당시 사용 가능한 방법보다 훨씬 더 높은 정확도로 fMRI 스캔의 이미지를 재구성했습니다.

일부 네티즌들은 "뇌파를 기반으로 이미지를 생성하는 것은 적어도 2008년부터 있었는데, 어쩐지 Stable Diffusion이 사람의 생각을 읽을 수 있다는 것을 암시한다. 정말 말도 안 된다. ”

캘리포니아 버클리 대학이 Nature에 발표한 이 논문에서는 인간의 뇌파 활동이 시각적 디코더를 사용하여 이미지로 변환될 수 있다고 명시하고 있습니다.

일부 사람들은 역사를 추적하기 위해 대뇌 피질의 이미지를 재구성하는 Stanford Li Feifei의 1999년 연구를 직접 인용했습니다.

Li Feifei도 당시 자신이 아직 대학 인턴이었다고 댓글을 달고 전달했습니다.

또한 2011년에 UC Berkeley 연구에서는 기능적 자기 공명 영상(fMRI)과 컴퓨터 모델을 사용하여 뇌의 "동적 시각적 이미지"를 처음으로 재구성했습니다.

즉, 사람들이 본 클립을 재현한 것입니다.

그러나 최신 연구와 비교하면 이 재구성은 전혀 "고화질"이 아니며 거의 알아볼 수 없습니다.

저자 소개

다카기 유

다카기 유는 오사카대학교의 조교수입니다. 그의 연구 관심분야는 컴퓨터 신경과학과 인공지능의 교차점에 있습니다.

박사 과정 동안 ATR 뇌정보통신연구소에서 기능적 자기공명영상(fMRI)을 활용해 전뇌 기능 연결성으로 다양한 개인차를 예측하는 기술을 연구했다.

최근 그는 옥스퍼드 대학교 인간 두뇌 활동 센터와 도쿄 대학교 심리학과에서 복잡한 의사 결정 작업에서 동적 계산을 이해하기 위해 기계 학습 기술을 사용했습니다.

니시모토 신지

니시모토 신지는 오사카대학교 교수입니다. 그의 연구는 뇌의 시각 및 인지 처리에 대한 정량적 이해에 중점을 두고 있습니다.

더 구체적으로 니시모토 교수 팀의 연구 초점은 자연스러운 지각 및 인지 조건에서 유발되는 뇌 활동의 예측 모델을 구축하여 신경 처리 및 표현을 이해하는 것입니다.

일부 네티즌들은 저자에게 이 연구가 꿈을 해석하는 데 사용될 수 있는지 물었습니다.

"수면 중 뇌 활동에도 동일한 기술을 적용하는 것이 가능하지만 현재 이러한 적용의 정확성은 불분명합니다."

이 연구를 본 후: 이제 Photo Legilimency를 사용할 수 있습니다. .

참조: ​

​​https://www.php.cn/link/0424d20160a6a558e5bf86a7bc9b67f0​​

​​https://www . php.cn/link/02d72b702eed900577b953ef7a9c1182​​​

위 내용은 AI 독서 뇌가 폭발한다! 뇌 이미지 스캔 및 Stable Diffusion으로 이미지를 사실적으로 재현의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!