신경망 알고리즘의 기본 소개

지금 가장 핫한 기술은 단연 인공지능입니다.

인공지능의 기본 모델은 "신경망"입니다. 많은 복잡한 애플리케이션(예: 패턴 인식, 자동 제어)과 고급 모델(예: 딥 러닝)이 이를 기반으로 합니다. 인공지능 학습은 그것부터 시작되어야 합니다.

1. 퍼셉트론

역사적으로 과학자들은 항상 인간의 두뇌를 시뮬레이션하고 생각할 수 있는 기계를 만들고 싶어했습니다. 사람들은 왜 생각할 수 있는가? 과학자들은 그 이유가 신체의 신경망에 있다는 것을 발견했습니다.

1. 외부 자극은 신경 말단을 통해 전기 신호로 변환되어 신경 세포(뉴런이라고도 함)로 전달됩니다.

2. 수많은 신경세포가 신경중심을 구성합니다.

3. 신경중추는 다양한 신호를 종합하여 판단을 내립니다.

4. 인체는 신경 중추의 지시에 따라 외부 자극에 반응합니다.

2. 가중치 및 임계값

이를 보면 다음과 같은 질문이 생길 것입니다. 일부 요인은 확립되고 다른 요인은 확립되지 않은 경우 출력은 무엇입니까? 예를 들어, 주말에는 날씨가 좋고 티켓 가격도 비싸지 않지만 샤오밍은 동행할 사람을 찾을 수 없습니다.

실제로는 다양한 요소가 동일한 중요성을 갖는 경우가 거의 없습니다. 어떤 요소는 결정적이고 다른 요소는 부차적입니다. 따라서 이러한 요소에는 서로 다른 중요성을 나타내는 가중치가 할당될 수 있습니다.

날씨 : 몸무게 8

회사 : 몸무게 4

가격 : 몸무게 4

위의 가중치를 보면 날씨가 결정적 요소이고 동반자와 가격이 2차 요소라는 것을 알 수 있습니다.

세 요소가 모두 1이면 그 합에 가중치를 곱한 값은 8 + 4 + 4 = 16입니다. 날씨와 가격 요소가 1이고 동반 요소가 0이면 합계는 8 + 0 + 4 = 12가 됩니다. 이때 임계값(threshold)도 지정해야 합니다. 합이 임계값보다 크면 퍼셉트론은 1을 출력하고, 그렇지 않으면 0을 출력합니다. 임계값이 8이고 12 > 8이라고 가정하면 Xiao Ming은 방문하기로 결정합니다. 문턱의 수준은 의지의 강도를 나타냅니다. 문턱이 낮을수록 가고 싶은 마음이 커집니다.

위의 의사결정 과정을 수학적으로 표현하면 다음과 같습니다.

3. 의사결정 모델

단일 퍼셉트론은 바로 사용할 수 있는 간단한 의사결정 모델을 구성합니다. 현실 세계에서 실제 의사 결정 모델은 훨씬 더 복잡하며 여러 퍼셉트론으로 구성된 다층 네트워크입니다.

위 그림에서 하위 레이어 퍼셉트론은 외부 입력을 받아 판단한 후 최종 결과가 나올 때까지 상위 레이어 퍼셉트론의 입력으로 신호를 보냅니다. (참고: 퍼셉트론의 출력은 여전히 ​​하나이지만 여러 대상으로 보낼 수 있습니다.)

이 그림에서 신호는 단방향입니다. 즉, 하위 레이어 퍼셉트론의 출력은 항상 입력입니다. 상위 레이어 퍼셉트론의 실제로는 A가 B로 전달되고, B가 C로 전달되고, C가 A로 전달되는 순환 전송이 발생할 수 있습니다. 이를 "순환 신경망"이라고 합니다

4. 벡터화

후속 논의를 용이하게 하려면 위 모델에 대해 몇 가지 수학적 처리를 수행해야 합니다.

외부 요인 x1, x2, x3은 벡터 로 작성되며 ⋅x = ∑ wx로 축약됩니다. 즉, w와 x의 점 연산은 요인 곱의 합과 같습니다. 그리고 가중치

정의 b는 음의 임계값 b = -threshold

퍼셉트론 모델은 다음과 같습니다.

5. 신경망의 작동 과정

신경망을 구축하려면 세 가지 조건이 충족되어야 합니다. 1. 입력과 출력

2. 가중치(w)와 임계값(b)

3. 다층 퍼셉트론의 구조

즉, 위에 나타나는 그림을 미리 그려야 합니다

그 중에서 가장 어려운 부분은 가중치(w)와 임계값(b)을 결정하는 것입니다. 지금까지는 이 두 가지 가치를 주관적으로 제시해 왔지만 현실적으로 그 가치를 가늠하기 어렵고 답을 찾을 수 있는 방법이 반드시 있을 것이다.

이 방법은 시행착오입니다. 다른 매개변수를 변경하지 않고 w(또는 b)의 작은 변화는 Δw(또는 Δb)로 기록된 다음 출력의 변화를 관찰합니다. 가장 정확한 출력, 즉 우리가 원하는 값에 해당하는 w와 b의 집합을 얻을 때까지 이 과정을 반복합니다. 이 프로세스를 모델 훈련이라고 합니다.

그래서 신경망은 다음과 같이 작동합니다.

1. 입력과 출력을 결정합니다

2. 입력에서 출력을 얻을 수 있는 하나 이상의 알고리즘을 찾습니다

3. 모델을 훈련하고 w와 b를 추정합니다

4. .새로운 데이터가 생성되어 모델에 입력되면 결과를 얻을 수 있으며 w와 b가 동시에 수정됩니다.

6. 출력 연속성

위 모델에는 해결되지 않은 문제가 있습니다. 가정하면 출력은 0과 1의 두 가지 결과입니다. 그러나 모델에는 w 또는 b에 작은 변화가 필요하며 이로 인해 출력이 변경됩니다. 0과 1만 출력하면 너무 둔감해지고 훈련의 정확성을 보장할 수 없으므로 "출력"을 연속 함수로 변환해야 합니다. 이를 위해서는 약간의 간단한 수학적 수정이 필요합니다.

먼저 퍼셉트론의 계산 결과 wx + b를 z로 표시합니다.

z = wx + b

그리고 다음 수식을 계산하여 그 결과를 σ(z)로 기록합니다.

σ(z) = 1 / (1 + e^(-z))

이는 z가 양의 무한대 z → +π(강한 퍼셉트론 일치를 나타냄) 경향이 있는 경우 σ(z) → 1이기 때문입니다. z가 음의 무한대 z → -무한대로 가면(강한 퍼셉트론 불일치를 나타냄) σ(z) → 0입니다. 즉, σ(z)를 출력 결과로 사용하는 한 출력은 연속 함수가 됩니다.

원래 출력 곡선은 다음과 같습니다.

이제 이렇습니다.

실제로 Δσ가 다음 공식을 만족한다는 것도 증명할 수 있습니다.

즉, Δσ, Δw, Δb 사이에는 선형 관계가 있고, 변화율은 편도함수입니다. 이는 w와 b의 값을 정확하게 계산하는데 도움이 된다.

위 내용은 신경망 알고리즘의 기본 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!