기계 학습의 샘플 풀 계산 검토

Reservoir Computing(RC)은 재귀 신경망을 사용하는 컴퓨팅 프레임워크입니다. 기존 신경망과 달리 일부 매개변수만 업데이트하고 다른 매개변수는 무작위로 선택하고 수정합니다.

예비 풀은 역학을 통해 입력 신호를 더 높은 차원의 계산 공간에 매핑하는 고정 비선형 시스템입니다. 저장소는 블랙박스로 간주될 수 있습니다. 입력 신호가 저장소로 다시 공급된 후 저장소의 상태를 읽고 이를 필요한 출력에 매핑하도록 간단한 판독 메커니즘이 훈련됩니다.

저수지 역학이 고정되어 있으므로 훈련은 판독 단계에서만 수행됩니다.

전통적인 예비 풀 계산은 두 가지 조건을 충족해야 합니다. 즉, 독립적인 비선형 단위로 구성되고 정보를 저장할 수 있습니다.

예비 풀 계산은 기본적으로 기계 학습 알고리즘을 더 빠르게 실행하는 데 사용되는 방법입니다.

용어의 "저수지"는 전력 시스템을 나타냅니다. 동적 시스템은 시간이 지남에 따라 공간의 점이 어떻게 변하는지 설명하는 수학적 함수로 표현됩니다. 이를 알면 공간 내 지점의 위치를 ​​예측할 수 있습니다.

예비 풀은 무작위로 연결된 여러 개의 순환 연결된 단위로 구성됩니다. 예비 풀 계산은 네트워크의 모든 매개변수를 업데이트하는 대신 몇 가지 매개변수만 업데이트하고 무작위 선택 후에는 다른 매개변수를 변경하지 않고 유지합니다.

예비 풀 계산의 프레임워크는 재귀 신경망의 프레임워크와 유사합니다. 에코 상태 네트워크, 액체 상태 기계 및 기타 재귀 신경망 모델은 예비 풀 계산의 기본 프레임워크를 형성합니다. 처리할 계산 시간적 또는 순차적 데이터가 있는 작업에 매우 효과적입니다.

예비 풀 계산의 목적

비선형 입력을 순차적으로 고차원 공간으로 변환하여 간단한 학습 알고리즘을 통해 입력의 특성을 효율적으로 읽어낼 수 있도록 하는 것입니다. . 순환 신경망을 사용하는 것 외에도 다른 동적 시스템을 예비 풀로 사용할 수도 있습니다. 예비 풀 컴퓨팅의 목표는 더 낮은 학습 비용으로 정보와 데이터를 더 빠르게 처리할 수 있는 시스템을 구축하는 것입니다. 이는 대규모 데이터 세트를 훈련할 때 전력 소비가 높기 때문에 머신러닝의 경우 특히 중요합니다. 1 . 상황별 반향 네트워크

상황별 반향 네트워크에서 입력 레이어는 신호를 고차원 동적 시스템에 입력하고 이 고차원 동적 시스템의 정보는 훈련 가능한 단일 레이어 퍼셉트론에 의해 판독됩니다. 여기에는 두 가지 유형의 동적 시스템이 있습니다. 하나는 무작위 가중치가 고정된 순환 신경망이고, 다른 하나는 Turing 형태 형성 모델에서 영감을 받은 연속 반응-확산 시스템입니다.

2. 에코 상태 네트워크
• 에코 상태 네트워크에는 희박하게 연결된 숨겨진 레이어가 있습니다. 히든 레이어의 연결성은 일반적으로 10% 미만입니다. 입력 신호로 더 큰 무작위 가중치 고정 순환 신경망을 구동하여 저장소의 각 뉴런에 비선형 응답 신호를 유도한 다음 모든 응답 신호의 훈련 가능한 선형 조합을 사용하여 원하는 신호에 연결합니다.
• 3. 액체 상태 기계

액체 상태 기계(LSM)는 펄스 신경망을 사용합니다. LSM은 다수의 노드 또는 뉴런으로 구성됩니다. 각 뉴런은 다른 뉴런과 외부 소스로부터 시간에 따라 변하는 입력을 받습니다. 연결의 반복적 특성으로 인해 시변 입력은 네트워크 노드에서 시공간 활성화 패턴이 됩니다. 이러한 시공간적 활성화 패턴은 선형 판별 단위로 판독됩니다.

4. 비선형 과도 계산

시간에 따라 변하는 입력 신호가 메커니즘의 내부 역학을 벗어나면 이러한 편차로 인해 장치의 출력에 반영되는 일시적인 변화가 발생합니다.

5. 딥 리저브 풀 계산

딥 리저브 풀 계산 모델이 등장하면서 리저브 풀 계산 프레임워크는 계층적 방식으로 시간 데이터를 처리하는 딥 러닝으로 확장되기 시작했습니다. 계층적 조합 RNN의 역할.

위 내용은 기계 학습의 샘플 풀 계산 검토의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!