생물학적 네트워크처럼 '성장'하고 '구조적 가소성'을 갖는 자기조직적 신경망이 여기에 있다

생물학적 신경망중요한 특징은 높은 수준의 가소성으로, 이는 자연 유기체의 적응력이 뛰어나며, 이 능력은 신경계의 시냅스 강도와 위상에 영향을 미칩니다.

그러나 인공 신경망은 주로 정적이고 완전히 연결된 구조로 설계되어 변화하는 환경과 새로운 입력에 매우 취약할 수 있습니다. 연구자들이 온라인 학습과 메타 학습에 대한 광범위한 연구를 수행했지만 현재의 최첨단 신경망 시스템은 역전파와 결합할 때 더 간단하기 때문에 여전히 오프라인 학습을 사용합니다.

그렇다면 인공 신경망도 높은 가소성과 유사한 특성을 가질 수 있을까요?

코펜하겐 정보기술대학교 연구팀은 활동 및 보상 의존 방식으로 시냅스 및 구조적 가소성을 달성할 수 있는 자기 조직화 신경망인 LNDP를 제안했습니다.

• 논문 링크: https://arxiv.org/pdf/2406.09787

• 프로젝트 링크: https://github.com/erwanplantec/LNDP

연구 소개

2023년 Najarro 등은 신경발달 프로그램(NDP) 모델을 제안했습니다. 그러나 NDP는 환경 이전 단계로 시간이 제한되어 있습니다. 따라서 코펜하겐 정보 기술 대학의 연구팀은 NDP 프레임워크를 확장하여 이러한 한계를 해결했습니다.

구체적으로 연구팀은 에이전트의 수명주기 동안 가소성과 구조적 변화를 달성할 수 있는 메커니즘, 즉 LNDP(평생 신경 발달 프로그램)를 제안했습니다. 이 메커니즘은 인공 신경망의 각 뉴런의 로컬 활동과 환경의 전역 보상 기능에 의존하여 로컬 계산을 수행하여 구현됩니다. LNDP는 인공 신경망을 유연하게 만들고 간접 발달 인코딩 및 메타 학습의 가소성 규칙을 연결합니다.

LNDP는 신경 및 시냅스 역학을 정의하고 인공 신경망을 구조적으로 가소성으로 만들도록 설계된 매개변수화된 구성요소 세트로 구성됩니다(즉, 시냅스를 동적으로 추가하거나 제거할 수 있음).

연구팀은 유기체의 자발적 활동(SA)에서 영감을 받아 시스템을 더욱 확장하고 감각 뉴런의 단순하고 안정적인 기능을 학습하는 확률론적 프로세스 모델을 사용하여 사전 경험의 발달을 달성할 수 있는 메커니즘을 도입했습니다. SA - 일부 구성 요소를 재사용할 수 있습니다.

연구팀은 Graph Transformer 계층(Dwivedi and Bresson, 2021)을 기반으로 LNDP 인스턴스를 제안하고 일련의 강화 학습 작업에 대해 공분산 행렬 적응형 진화 전략(CMA-ES)을 사용하여 LNDP를 최적화했습니다.

구체적으로 이 연구에서는 에이전트의 수명주기 적응성이 필요한 비정상 역학을 갖춘 세 가지 고전적인 제어 작업(Cartpole, Acrobot, Pendulum)과 수집 작업(Foraging)을 사용했습니다.

요약하자면, 연구팀은 무작위로 연결된(또는 비어 있는) 신경망에서 시작하여 LNDP가 자체 구성하여 활동 및 경험 의존적 방식으로 기능적 네트워크를 형성하여 제어 작업을 효과적으로 해결한다는 것을 입증했습니다.

이 연구는 또한 구조적 가소성이 빠른 적응이 필요하거나 지속적인 적응이 필요한 비정상 역학이 있는 환경에서 결과를 향상시킬 수 있음을 보여줍니다. 또한, 이 연구는 네트워크 자체 조직을 기능적 단위로 구성하는 환경 전 자발적 활동에 의해 주도되는 발달 단계의 효율성을 입증합니다.

실험 결과

연구팀은 모든 작업에 대해 SP 모델(구조적 가소성이 있는 모델)과 비SP 모델(구조적 가소성이 없는 모델)의 차이점을 테스트하였고, 그 결과는 아래 그림 2와 같습니다.

非定常ダイナミクスを使用した収集タスク (採集) では、研究チームは SP モデルが常に非 SP モデルよりも高い平均適合度を達成し、両者が同様の最大適合度に達することを発見しました。これは、SP が非定常状況においてより優れた適応性を持っていることを示しています。

CartPole 環境では、SA のないモデルが最初から良好なパフォーマンスを達成するのは特に困難ですが、SA のあるモデルは最初からタスクを解決する固有のスキルを示します。これは、報酬に依存せず、自己組織化された方法でターゲット機能ネットワークを達成するモデルの能力を示しています。

研究の詳細については、原論文を参照してください。

위 내용은 생물학적 네트워크처럼 '성장'하고 '구조적 가소성'을 갖는 자기조직적 신경망이 여기에 있다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!