경사하강법 원리

그라디언트 방법 아이디어의 세 가지 요소: 시작점, 하강 방향 및 하강 단계 크기.

머신러닝에서 일반적으로 사용되는 가중치 업데이트 표현식은 (권장 학습: Python 비디오 튜토리얼)

입니다. 여기서 λ는 학습률을 계산하는 공식입니다. 기계 학습에서는 다양한 "경사" 하강 방법이 명확하게 설명됩니다.

머신러닝의 대상 함수는 일반적으로 볼록함수입니다.

공간적 제약으로 인해 심층적인 전개는 진행하지 않겠습니다. 여기서는 볼록 함수의 문제를 해결하기 위한 생생한 비유를 만들어 보겠습니다. 냄비의 바닥을 찾는 냄비의 형태를 상상해 보세요. 매우 직관적인 아이디어는 특정 초기점(즉, 경사하강법)에서 함수의 경사 방향을 따라 내려가는 것입니다. 여기서 또 다른 생생한 비유를 만들어 보겠습니다. 이 움직임을 힘에 비유하면 세 가지 완전한 요소는 단계 길이(움직일 정도), 방향 및 시작점입니다. 이 생생한 비유를 사용하면 그라데이션을 더 쉽게 해결할 수 있습니다. 문제는 시작점이 매우 중요하고 초기화 시 고려해야 할 핵심이며 방향과 단계 크기가 핵심입니다. 사실 그라데이션의 차이는 바로 이 두 점에 있어요!

그라디언트 방향은

이고, 단계 크기는 상수 Δ로 설정되어 있습니다. 그러면 그라데이션이 클 때 사용하면 최적의 솔루션에서 멀리 떨어져 있음을 알 수 있습니다. W는 더 빠르게 업데이트됩니다. 그러나 기울기가 작을 때, 즉 최적의 솔루션에 더 가까울 때 W의 업데이트는 실제로 이전과 동일한 속도를 유지합니다. 이로 인해 W가 쉽게 과도하게 업데이트되고 멀어지게 됩니다. 최적의 솔루션에서 멀어지고 최적의 솔루션에 나타납니다. 솔루션은 솔루션 근처에서 앞뒤로 진동합니다. 따라서 최적의 솔루션에서 멀리 떨어져 있으면 기울기가 크고 최적의 솔루션에 가까울수록 기울기가 작기 때문에 스텝 길이가 이 리듬을 따르도록 하여 Δ를 대체하기 위해 를 사용합니다. 마침내 친숙한 다음을 얻습니다. 공식:

따라서 이 때의 λ는 상수임에도 불구하고 경사가 가파르고 완만함에 따라 변합니다.

더 많은 Python 관련 기술 기사를 보려면 Python Tutorial 칼럼을 방문하여 알아보세요!

위 내용은 경사하강법 원리의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!