인간 뇌의 90%는 자기주도학습이다. 대형 AI 모델은 뇌를 시뮬레이션하는 것과는 거리가 멀다.

우리 모두는 인간 두뇌의 90%가 자기 지도 학습이며 유기체는 다음에 일어날 일에 대해 끊임없이 예측한다는 것을 알고 있습니다. 자기 지도 학습은 외부 개입 없이 의사결정을 내릴 수 있음을 의미합니다. 선생님이 "너는 실수했어."라고 말하는 등 외부 피드백을 받아들이는 경우는 소수에 불과합니다. 이제 일부 학자들은 대규모 언어 모델의 자기 지도 학습 메커니즘이 우리의 두뇌와 매우 유사하다는 사실을 발견했습니다. 잘 알려진 대중 과학 매체인 Quanta Magazine은 최근 자기 지도 학습 모델, 특히 대규모 언어 모델의 자기 학습 방법이 우리 두뇌의 학습 모델과 매우 유사하다는 연구 결과가 점점 더 많아지고 있다고 보도했습니다. .

과거의 일반적인 AI 시스템은 대량의 레이블이 지정된 데이터를 사용하여 훈련되었습니다. 예를 들어, 얼룩 무늬와 호랑이를 올바르게 구별하도록 인공 신경망을 훈련시키기 위해 이미지에 "얼룩무늬 고양이" 또는 "호랑이 고양이"라는 라벨을 붙일 수 있습니다. ㅋㅋㅋ 예를 들어, 소는 종종 들판에서 사진을 찍기 때문에 신경망은 잔디의 존재를 사용하여 소의 사진을 식별할 수 있습니다. University of California, Berkeley의 컴퓨터 과학자인 Alexei Efros는 다음과 같이 말했습니다.

우리가 훈련하는 알고리즘은 자료가 공부되지 않았음에도 불구하고 한 학기 동안 수업에 오지 않은 학부생과 같습니다. 체계적으로, 그러나 그들은 시험에서 좋은 성적을 냈습니다.

더욱이, 동물 지능과 기계 지능의 교차점에 관심이 있는 연구자들에게 이 "지도 학습"은 생물학적 뇌에 대해 밝혀낸 내용으로 제한될 수 있습니다. 인간을 포함한 많은 동물은 레이블이 지정된 데이터 세트를 사용하여 학습하지 않습니다. 대부분 그들은 스스로 환경을 탐색하며, 그렇게 함으로써 세상에 대한 풍부하고 깊은 이해를 얻습니다.

이제 일부 계산 신경과학자들은 사람이 라벨링한 데이터가 거의 또는 전혀 없이 훈련된 신경망을 탐색하기 시작했습니다. 최근 연구 결과에 따르면 자기 지도 학습 모델을 사용하여 구축된 동물 시각 및 청각 시스템의 계산 모델은 지도 학습 모델보다 뇌 기능에 더 가깝습니다.

일부 신경과학자들에게는 인공 신경망이 뇌를 기계 학습의 비유로 사용하는 방법을 밝히기 시작한 것 같습니다.

Flawed Supervision

약 10년 전, 인공 신경망에서 영감을 받은 뇌 모델이 등장하기 시작했고, AlexNet이라는 신경망은 알려지지 않은 이미지를 분류하는 작업에 혁명을 일으켰습니다. 이 결과는 Alex Krizhevsky, Ilya Sutskever 및 Geoffrey E. Hinton의 "ImageNet Classification with Deep Convolutional Neural Networks" 논문에 게재되었습니다.

논문 주소: https://dl.acm.org/doi/10.1145/3065386 모든 신경망과 마찬가지로 이 네트워크도 여러 층의 인공 뉴런으로 구성되어 있으며, 여기서 서로 다른 뉴런 사이의 연결에 가중치가 부여됩니다. 다른.

신경망이 이미지를 올바르게 분류하지 못하면 학습 알고리즘은 다음 훈련 라운드에서 잘못 분류될 가능성을 줄이기 위해 뉴런 간 연결의 가중치를 업데이트합니다. 알고리즘은 네트워크의 오류율이 허용 가능한 수준으로 낮아질 때까지 가중치를 조정하면서 이 프로세스를 여러 번 반복합니다. 나중에 신경과학자들은 AlexNet을 사용하여 영장류 시각 시스템의 첫 번째 계산 모델을 개발했습니다. 원숭이와 인공신경망에 동일한 이미지를 보여주었을 때, 실제 뉴런과 인공신경망의 활동은 유사한 반응을 보였다. 청각 및 냄새 감지의 인공 모델에서도 유사한 결과가 얻어졌습니다. 그러나 분야가 발전하면서 연구자들은 자기주도 훈련의 한계를 깨달았습니다. 2017년 독일 튀빙겐 대학의 컴퓨터 과학자 레온 가티스(Leon Gatys)와 그의 동료들은 포드 모델 T의 사진을 찍은 후 표범 가죽 패턴으로 사진을 덮었습니다.

인공지능 신경망은 원본 이미지를 모델 T로 정확하게 분류했지만, 변형된 이미지를 표범으로 간주했습니다. 그 이유는 이미지 질감에만 초점을 맞추고 자동차(또는 표범)의 모양을 이해하지 못하기 때문입니다. 자기 지도 학습 모델은 이러한 문제를 방지하도록 설계되었습니다.

이 접근 방식에서는 인간이 데이터에 라벨을 붙이지 않고 스위스 바젤에 있는 프리드리히 미셸 생의학 연구소의 전산 신경과학자인 프리데만 젠케(Friedemann Zenke)가 말했습니다. 자기 감독 알고리즘은 기본적으로 데이터에 공백을 만들고 신경망에 공백을 채우도록 요청합니다.

예를 들어, 소위 대규모 언어 모델에서 훈련 알고리즘은 신경망에 문장의 처음 몇 단어를 보여주고 다음 단어를 예측하도록 요청합니다. 인터넷에서 수집한 대량의 텍스트를 사용하여 훈련할 때 모델은 외부 레이블이나 감독 없이 언어의 구문 구조를 학습하여 인상적인 언어 능력을 보여주는 것으로 보입니다. 컴퓨터 비전 분야에서도 비슷한 노력이 진행되고 있습니다. 2021년 말, He Kaiming과 그의 동료들은 유명한 마스크드 오토인코더 연구인 "MAE(Masked Auto-Encoder)"를 시연했습니다.

문서 주소: https://arxiv.org/abs/2111.06377

MAE는 마스크되지 않은 부분을 잠재 표현, 즉 압축에 대한 수학적 설명으로 변환합니다. 개체에 대한 중요한 정보입니다. 이미지의 경우 기본 표현은 이미지에 있는 개체의 모양을 포함하는 수학적 설명일 수 있습니다. 그런 다음 디코더는 이러한 표현을 다시 전체 이미지로 변환합니다.

뇌도 "자기 감독"됩니다이러한 시스템에서 일부 신경과학자들은 우리의 뇌가 실제로 자기 감독 학습이라고 믿습니다. McGill 대학과 퀘벡 인공 지능 연구소(Mila)의 전산 신경 과학자인 Blake Richards는 "뇌가 하는 일의 90%는 자기 지도 학습이라는 점에는 의심의 여지가 없다고 생각합니다."라고 말합니다. 예를 들어, 물체가 움직일 때 물체의 미래 위치나 문장의 다음 단어를 예측하는 것은 이미지나 텍스트의 간격을 예측하려는 자기 지도 학습 알고리즘과 매우 유사합니다.

전산 신경과학자 Blake Richards는 살아있는 뇌의 시각적 네트워크를 모방하는 AI 시스템을 만들었습니다. Richards와 그의 팀은 자율적인 감독 모델을 만들어 답을 제시합니다. 그들은 두 개의 서로 다른 신경망을 결합한 인공지능을 훈련시켰습니다.

첫 번째 ResNet 아키텍처는 이미지 처리용으로 설계되었으며, 두 번째 아키텍처인 Recurrent Network는 이전 입력 시퀀스를 추적하고 다음 예상 입력을 예측할 수 있습니다. 공동 AI를 훈련하기 위해 팀은 10개 프레임의 일련의 비디오로 시작하고 ResNet이 이를 하나씩 처리하도록 합니다.

그런 다음 순환 네트워크는 단순히 이전 10개의 프레임을 일치시키는 대신 프레임 11의 잠재 표현을 예측합니다. 자기 지도 학습 알고리즘은 예측된 값을 실제 값과 비교하고 더 나은 예측을 위해 가중치를 업데이트하도록 신경망에 지시합니다.

추가 테스트를 위해 연구원들은 시애틀에 있는 Allen Institute for Brain Science의 연구원들이 이전에 쥐에게 보여준 일련의 비디오를 AI에 보여주었습니다. 영장류와 마찬가지로 생쥐도 정적 이미지와 움직임을 전담하는 뇌 영역을 가지고 있습니다. Allen 연구원은 쥐가 비디오를 시청하는 동안 쥐의 시각 피질에서 신경 활동을 기록했습니다.

Richards 팀은 AI와 살아있는 두뇌가 비디오에 반응하는 방식에서 유사점을 발견했습니다. 훈련 중에 인공 신경망의 한 경로는 쥐 뇌의 복부, 물체 감지 영역과 더 유사해졌고, 다른 경로는 움직임에 초점을 맞춘 등쪽 영역과 더 유사해졌습니다.

이러한 결과는 우리의 시각 시스템이 비전의 미래를 예측하는 데 도움이 되는 두 가지 특수 경로를 가지고 있음을 시사합니다. 단일 경로로는 충분하지 않습니다. 인간의 청각 시스템 모델도 비슷한 이야기를 들려줍니다. 지난 6월 Meta AI의 연구 과학자인 Jean-Rémi King이 이끄는 팀은 신경망을 사용하여 오디오를 잠재 표현으로 변환하는 Wav2Vec 2.0이라는 인공 지능을 훈련했습니다. 연구원들은 이러한 표현 중 일부를 마스킹한 다음 변환기라고 불리는 신경망의 다른 구성 요소에 입력했습니다.

훈련 과정에서 변환기는 차단된 정보를 예측합니다. 이 과정에서 AI 전체는 레이블 없이도 소리를 기본 표현으로 변환하는 방법을 학습합니다. 팀은 네트워크를 훈련시키기 위해 약 600시간의 음성 데이터를 사용했습니다. King은 "이것은 어린이가 처음 2년간의 경험을 통해 얻게 되는 것입니다."라고 말했습니다.

Meta AI의 Jean-Rémy King은 부분적으로 다음에 일어날 일을 예측하여 뇌를 모방하는 방식으로 오디오를 처리하는 인공 지능을 훈련시키는 데 도움을 주었습니다. 시스템은 재생을 통해 훈련되었습니다. 영어, 프랑스어, 중국어로 된 오디오북의 일부를 추출한 다음, 세 가지 언어를 모국어로 사용하는 412명의 데이터와 AI의 성능을 비교했습니다. 그들은 MRI 스캔으로 두뇌 영상을 촬영하는 동안 동일한 긴 오디오 클립을 들었습니다.

결과에 따르면 fMRI 영상은 잡음이 많고 해상도가 낮지만 AI 신경망과 인간의 뇌는 "서로 연관되어 있을 뿐만 아니라 체계적으로 연관되어 있다"는 사실이 밝혀졌습니다. AI의 초기 계층의 활동은 일차 청각 피질의 활동과 일치하는 반면, AI의 가장 깊은 계층의 활동은 전두엽 피질과 같은 뇌의 더 높은 수준의 활동과 일치합니다. "

이것은 아름다운 데이터이며, 결정적이지는 않지만, 우리가 언어를 배우는 방식이 주로 다음에 말할 내용을 예측하는 것에 관한 것임을 보여주는 설득력 있는 증거입니다. ”

몇몇 사람들은 동의하지 않습니다. 뇌? 모델과 알고리즘은 훨씬 더 나쁩니다

물론 모든 사람이 이 말에 동의하는 것은 아닙니다.

MIT의 컴퓨터 신경과학자인 Josh McDermott는 지도 학습과 자기 지도 학습을 사용해 시각과 청각 모델을 연구해 왔습니다. 그의 연구실에서는 인간에게는 파악하기 어려운 소음일 뿐인 합성 오디오 및 시각적 신호를 설계했습니다.

그러나 인공 신경망에게는 이러한 신호가 실제 언어 및 이미지와 구별되지 않는 것처럼 보입니다. 이는 자기 지도 학습을 통해 신경망 깊숙이 형성된 표현이 우리 뇌의 표현과 동일하지 않음을 보여줍니다. McDermott는 "이러한 자기 지도 학습 방법은 모든 레이블이 필요 없이 많은 인식 동작을 지원할 수 있는 표현을 학습할 수 있기 때문에 개선되었습니다. 하지만 지도 모델에는 여전히 많은 특징이 있습니다."라고 말했습니다. 알고리즘 자체도 더 많은 개선이 필요합니다. 예를 들어 Meta AI의 Wav2Vec 2.0 모델에서 AI는 수십 밀리초 동안만 소리의 잠재적 표현을 예측합니다. 이는 인간이 단어를 예측하는 것은 물론이고 소음 음절을 발화하는 데 걸리는 시간보다 짧습니다.

진정하게 인간의 두뇌와 유사한 AI 모델을 만들기 위해서는 아직 할 일이 많다고 진씨는 말했습니다. 지금까지 발견된 뇌와 자기 지도 학습 모델 사이의 유사점이 다른 감각 작업에서도 사실이라면, 이는 우리 뇌가 어떤 기적적인 능력을 가지고 있든 간에 어떤 형태로든 자기 지도 학습이 필요하다는 점을 더욱 강력하게 시사하는 것입니다.

위 내용은 인간 뇌의 90%는 자기주도학습이다. 대형 AI 모델은 뇌를 시뮬레이션하는 것과는 거리가 멀다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!