Transformer는 뇌를 모방하여 뇌 영상 예측에서 42개 모델을 능가하고 감각과 뇌 사이의 전달도 시뮬레이션할 수 있습니다.

많은 AI 애플리케이션 모델은 이제 모델 구조인

Transformer를 언급해야 합니다.

전통적인 CNN과 RNN을 버리고 전적으로 Attention 메커니즘으로 구성됩니다.

Transformer는 다양한 AI 응용 모델에 기사 및 시 작성 기능을 제공할 뿐만 아니라 다중 모드 측면에서도 빛을 발합니다.

특히 ViT(Vision Transformer) 출시 이후 CV와 NLP 사이의 모델 장벽이 허물어져 하나의 Transformer 모델만 멀티모달 작업을 처리할 수 있습니다.

(이 글을 읽고 나면 얼마나 강력한지 말할 수 없는 사람이 있을까요?)

Transformer는 원래 언어 작업을 위해 설계되었지만 뇌를 모방하는 데에도 큰 잠재력이 있습니다.

아니요, 한 과학 작가가 Transformer가 뇌를 모델링하는 방법에 대한 블로그를 작성했습니다.

내가 강강에 왔을 때 그 사람이 뭐라고 했나요?

Transformer: 뇌가 하는 일을 하세요

우선 진화 과정을 정리해야 합니다.

Transformer 메커니즘이 5년 전에 처음 등장했을 때 그토록 강력한 성능을 발휘할 수 있었던 것은 주로 Self-attention 메커니즘 때문이었습니다.

Transformer가 뇌를 어떻게 모방하는지에 대해서는 아래에서 계속 읽어보세요.

2020년 오스트리아 컴퓨터 과학자 Sepp Hochreiter 연구팀은 Transformer를 사용하여 Hopfield Neural Network(기억 검색 모델, HNN)를 재구성했습니다.

실제로 홉필드 신경망은 40년 전에 제안되었으며, 연구팀이 수십 년 만에 이 모델을 재구성하기로 선택한 이유는 다음과 같습니다.

첫째, 이 네트워크는 보편적인 규칙을 따릅니다. 동시에 요소들은 서로 강력한 연결을 구축하게 됩니다.

둘째, Hopfield 신경망이 메모리를 검색하는 프로세스는 Transformer의 Self-attention 메커니즘 구현과 일정한 유사점을 가지고 있습니다.

그래서 연구팀은 더 많은 기억을 저장하고 검색할 수 있도록 뉴런 간의 더 나은 연결을 구축하기 위해 HNN을 재구성했습니다.

재구성 과정은 간단히 말해서 Transformer의 Attention 메커니즘을 HNN에 통합하여 원래의 불연속적인 HNN이 연속적인 상태가 되도록 하는 것입니다.

Δ출처: Wikipedia

개편된 Hopfield 네트워크는 딥러닝 아키텍처에 계층으로 통합되어 원본 입력 데이터, 중간 결과 등을 저장하고 액세스할 수 있습니다.

따라서 Hopfield 자신과 MIT Watson 인공 지능 연구소의 Dmitry Krotov는 다음과 같이 말했습니다.

Transformer 기반 Hopfield 신경망은 생물학적으로 합리적입니다.

이는 어느 정도 뇌의 작동 원리와 유사하지만 일부 측면에서는 충분히 정확하지 않습니다.

그래서 전산 신경과학자 Whittington과 Behrens는 Hochreiter의 방법을 채택하고 재구성된 Hopfield 네트워크를 일부 수정하여 신경과학 작업(뇌의 신경 발사 패턴 복제)에서 모델의 성능을 더욱 향상시켰습니다.

ΔTim Behrens(왼쪽) James Whittington(오른쪽) 출처: 퀀타마가진

간단히 말하면, 인코딩-디코딩 중에 모델은 메모리를 더 이상 선형 시퀀스로 인코딩하지 않고 상위 수준 좌표로 인코딩합니다. 차원 공간.

구체적으로 모델에는 TEM(Tolman-Eichenbaum Machine)이 도입되었습니다.
TEM은 해마의 공간 탐색 기능을 모방하기 위해 만들어진 연관 기억 시스템입니다.

공간 및 비공간 구조 지식을 일반화하고, 공간 및 연관 기억 작업에서 관찰되는 신경 성능을 예측하고, 해마 및 내후각 피질의 리매핑 현상을 설명할 수 있습니다.

많은 기능을 가지고 있는 TEM과 Transformer를 합쳐서 TEM-transformer(TEM-t)를 만듭니다.

그런 다음, 다양한 공간 환경에서 TEM-t 모델을 훈련시켜 보겠습니다. 환경의 구조는 아래 그림과 같습니다.

TEM-t에는 여전히 Transformer의 Self-attention 메커니즘이 있습니다. 이러한 방식으로 모델의 학습 결과는 새로운 환경으로 이전되어 새로운 공간 구조를 예측하는 데 사용될 수 있습니다.

연구에 따르면 TEM에 비해 TEM-t는 신경과학 작업을 수행하는 데 더 효율적이며 더 적은 수의 학습 샘플로 더 많은 문제를 처리할 수 있습니다.

Transformer는 뇌 패턴을 모방하는 데 점점 더 깊이 들어가고 있습니다. 즉, Transformer 패턴의 개발은 뇌 기능의 작동 원리에 대한 이해를 지속적으로 촉진하고 있습니다.

그뿐만 아니라, Transformer는 어떤 측면에서 뇌의 다른 기능에 대한 이해를 향상시킬 수도 있습니다.

Transformer는 뇌를 이해하는 데 도움이 됩니다.

예를 들어 작년에 전산 신경과학자 Martin Schrimpf는 기능적 자기 공명 영상(fMRI) 및 피질 뇌 등 43개의 서로 다른 신경망 모델을 분석하여 인간의 신경 활동 측정에 어떤 영향을 미치는지 확인했습니다. 심전도의 예측력 (EEG) 보고서.

그 중 Transformer 모델은 이미징에서 발견되는 거의 모든 변화를 예측할 수 있습니다.

돌이켜 보면, 트랜스포머 모델을 통해 뇌의 해당 기능 작동을 예측할 수도 있을 것입니다.

또한 최근 컴퓨터 과학자 Yujin Tang과 David Ha는 Transformer 모델을 통해 의식적으로 대량의 데이터를 무작위적이고 무질서하게 보낼 수 있는 모델을 설계하여 인체가 감각 관찰을 뇌에 전달하는 방식을 시뮬레이션했습니다.

이 변환기는 인간의 두뇌와 같아서 무질서한 정보 흐름을 성공적으로 처리할 수 있습니다.

트랜스포머 모델은 지속적으로 개선되고 있지만, 이는 정확한 뇌 모델을 향한 작은 발걸음일 뿐이며, 끝까지 도달하려면 더욱 심층적인 연구가 필요합니다.

트랜스포머가 어떻게 인간의 뇌를 흉내내는지 더 자세히 알고 싶으시다면 아래 링크를 클릭해주세요~

참조링크:

[1]https://www.Quantamagazine.org/how-ai-transformers- imimic-parts-of -the-brain-20220912/

[2]https://www.pnas.org/doi/10.1073/pnas.2105646118

[3]https://openreview.net/forum? id=B8DVo9B1YE0​

위 내용은 Transformer는 뇌를 모방하여 뇌 영상 예측에서 42개 모델을 능가하고 감각과 뇌 사이의 전달도 시뮬레이션할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!