무어의 법칙이 실패하면 어떻게 해야 할까요? 뉴로모픽 컴퓨팅 전문가: 수지상 학습에 초점을 맞췄습니다.

​1965년에 고든 무어는 경험상 법칙을 요약했습니다. 집적 회로에 수용할 수 있는 트랜지스터의 수는 약 18~24개월마다 두 배로 늘어납니다. 즉, 프로세서 성능은 약 2년마다 두 배로 증가합니다.

이 경험 법칙을 "무어의 법칙"이라고 합니다. 이후 40년 동안 반도체 칩 제조 공정은 실제로 어지러운 속도로 두 배로 늘어났습니다. 그러나 최근에는 무어의 법칙의 배가 효과가 둔화되고 있으며, 일부에서는 이 법칙이 가까운 시일 내에 만료될 것이라는 예측까지 하고 있습니다.

업계에서는 이러한 개발 병목 현상을 해결하기 위해 다양한 솔루션을 제안했습니다. 스탠포드 대학의 신경모형 엔지니어인 Kwabena Boahen은 최근 인공 뉴런이 시냅스가 아닌 생물학적 뉴런의 수상돌기를 모방해야 한다는 새로운 아이디어를 제안했습니다. 해당 연구 논문은 네이처(Nature)에 게재되었습니다.

논문 주소: https://www.nature.com/articles/s41586-022-05340-6

현재 뉴로모픽 컴퓨팅은 인간의 뇌를 구성하는 뉴런을 모방하는 것을 목표로 합니다. 인공지능(AI)을 구현하기 위한 시냅스 메커니즘. 인공 신경망은 뉴런을 연결하는 시냅스를 반복적으로 조정하여 각 시냅스의 "무게" 또는 한 뉴런이 다른 뉴런에 미치는 영향의 강도를 수정합니다. 그런 다음 신경망은 결과적인 행동 패턴이 솔루션을 찾는 데 더 나은지 여부를 결정합니다. 시간이 지남에 따라 시스템은 결과 계산에 가장 적합한 모드를 발견하고 해당 모드를 기본값으로 채택합니다.

신경망에는 일반적으로 여러 레이어의 뉴런이 포함됩니다. 예를 들어 GPT-3에는 1,750억 개의 가중치, 830만 개의 뉴런에 해당하는 연결, 384개 레이어의 깊이가 있습니다. 신경망의 크기와 기능이 계속해서 증가함에 따라 비용과 에너지 소모도 점점 더 커지고 있습니다. GPT-3를 예로 들면 OpenAI는 이 대규모 모델을 훈련하기 위해 2주 동안 9,200개의 GPU를 실행하는 데 460만 달러를 지출했습니다. Kwabena Boahen은 "훈련 중 GPT-3가 소비하는 에너지는 자동차 1,300대에 해당하는 탄소 배출량으로 변환됩니다."

Boahen이 신경망의 다음 단계는 숫자를 시도해야 한다고 제안한 중요한 이유이기도 합니다. 그래프 학습. 신경망에서 수상돌기를 모방하면 전송된 신호로 전달되는 정보의 양이 늘어나 AI 시스템이 더 이상 GPU 클라우드에서 메가와트의 전력을 필요로 하지 않고 휴대폰과 같은 모바일 장치에서 실행될 수 있습니다.

수상돌기는 대규모로 분기할 수 있어 하나의 뉴런이 다른 많은 뉴런과 연결될 수 있습니다. 연구에 따르면 수상돌기가 가지로부터 신호를 받는 순서에 따라 반응 강도가 결정되는 것으로 나타났습니다.

Boahen이 제안한 수상돌기의 계산 모델은 뉴런으로부터 정확한 신호 시퀀스를 수신할 때만 반응합니다. 이는 각 수상돌기가 0/1과 같은 단순한 전기 신호뿐만 아니라 데이터를 인코딩할 수 있음을 의미합니다. 기본 시스템은 연결 수와 수신하는 신호 시퀀스의 길이에 따라 더욱 강력해집니다.

실제 구성 측면에서 Boahen은 강유전성 FET(FeFET)를 사용하여 수상돌기를 시뮬레이션할 것을 제안했습니다. 5개의 게이트가 있는 1.5미크론 길이의 FeFET는 5개의 시냅스가 있는 15미크론 길이의 수상돌기를 시뮬레이션할 수 있습니다. 이 빌드의 버전은 "3D 칩"으로 구현될 수 있다고 Boahen은 말했습니다.

관심 있는 독자는 논문의 원문을 읽고 더 많은 연구 세부 사항을 알아볼 수 있습니다.

참조 링크: https://spectrum.ieee.org/dendrocentric-learning​

위 내용은 무어의 법칙이 실패하면 어떻게 해야 할까요? 뉴로모픽 컴퓨팅 전문가: 수지상 학습에 초점을 맞췄습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!