경사하강법은 기계 학습의 원천입니다
이전 두 섹션에 이어 기계 학습의 원천인 경사하강법에 대해 이야기할 수 있습니다.
경사하강법은 그다지 복잡한 수학적 도구는 아닙니다. 그 역사는 200년이 넘었습니다. 그러나 사람들은 이렇게 비교적 간단한 수학적 도구가 많은 기계 학습 알고리즘의 기초가 될 것이라고는 예상하지 못했을 것입니다. 신경망으로 딥러닝 혁명을 일으켰습니다.
1. 그래디언트란
다변량 함수의 각 매개변수의 편도함수를 구한 후, 구해진 각 매개변수의 편도함수를 벡터의 형태로 작성하는 것이 바로 그래디언트입니다.
구체적으로 두 독립 변수의 함수 f(x1, x2)는 기계 학습 데이터 세트의 두 특성에 해당합니다. x1과 x2에 대해 각각 편도함수를 구하면 구한 기울기 벡터는 (∂f / ∂x1, ∂f/∂x2) T, 이는 수학적으로 Δf(x1, x2)로 표현될 수 있습니다. 그렇다면 그래디언트 벡터를 계산하는 요점은 무엇입니까? 기하학적 의미는 함수가 변화하는 방향으로, 가장 빠르게 변화하는 방향이다. 함수 f(x)의 경우 점 (x0, y0)에서 기울기 벡터의 방향은 y 값이 가장 빠르게 증가하는 방향입니다. 즉, 기울기 벡터 Δf(x0)의 방향을 따라 함수의 최대값을 찾을 수 있습니다. 반면, 기울기 벡터의 반대 방향, 즉 -Δf(x0) 방향을 따라 기울기가 가장 빠르게 감소하며 함수의 최소값을 찾을 수 있습니다. 특정 지점에서 그래디언트 벡터의 값이 0이면 미분 값이 0인 함수의 가장 낮은 지점(또는 로컬 최저 지점)에 도달한 것입니다.
2. 경사하강법: 내리막길 메타포
머신러닝에서 경사하강법에 대한 비유로 내리막길을 사용하는 것은 매우 일반적입니다. 당신이 큰 산 어딘가에 서서 멀리 끝없이 펼쳐져 있는 지형을 바라보고 있지만, 멀리 있는 위치가 여기보다 훨씬 낮다는 것만 알고 있다고 상상해 보십시오. 산을 내려가는 방법을 알고 싶지만 단계적으로만 내려갈 수 있습니다. 즉, 특정 위치에 도달할 때마다 현재 위치의 기울기를 찾을 수 있습니다. 그런 다음 기울기의 음의 방향을 따라 한 단계 아래로 내려갑니다. 즉, 가장 가파른 곳으로 내려가서 새 위치의 기울기를 계속 풀고, 새 위치에서 가장 가파른 곳으로 계속 한 단계 아래로 내려갑니다. 아래 사진처럼 산기슭까지 한걸음 한걸음씩 걸어가시면 됩니다.
위의 설명을 보면 왜 방금 함수의 오목함과 볼록함을 언급했는지 이해하기 어렵지 않습니다. 왜냐하면 비볼록함수에서는 산 아래까지 도달하지 못하고 특정 계곡에서 멈출 수도 있기 때문이다. 즉, 볼록하지 않은 함수에 대한 경사하강법은 항상 전역 최적해를 찾을 수는 없으며 지역적 최적해만 얻을 수 있습니다. 그러나 함수가 볼록형인 경우 경사하강법은 이론적으로 전역 최적해를 얻을 수 있습니다.
3. 경사하강법의 용도는 무엇인가요?
경사하강법은 기계 학습에 매우 유용합니다. 간단히 말해서 다음 사항에 주의할 수 있습니다.
머신러닝의 핵심은 최적의 함수를 찾는 것입니다.
함수가 최적인지 측정하는 방법은 무엇입니까? 예측값과 참값(머신러닝에서는 손실값이라고도 함) 사이의 오차를 최소화하는 방법입니다.
오차와 모델 매개변수 사이에 함수를 설정할 수 있습니다(볼록 함수 선호).
경사하강법은 볼록 함수의 전역 최소값, 즉 오류가 가장 작은 매개변수를 찾는 데 도움이 됩니다.
위 내용은 이 글은 경사하강법이 무엇인지 이해하는 데 도움이 될 것입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

소개 신속한 엔지니어링에서 "Thought of Thought"는 그래프 이론을 사용하여 AI의 추론 과정을 구성하고 안내하는 새로운 접근법을 나타냅니다. 종종 선형 S와 관련된 전통적인 방법과 달리

소개 축하해요! 당신은 성공적인 사업을 운영합니다. 웹 페이지, 소셜 미디어 캠페인, 웹 세미나, 컨퍼런스, 무료 리소스 및 기타 소스를 통해 매일 5000 개의 이메일 ID를 수집합니다. 다음 명백한 단계는입니다

소개 오늘날의 빠르게 진행되는 소프트웨어 개발 환경에서 최적의 애플리케이션 성능이 중요합니다. 응답 시간, 오류율 및 자원 활용과 같은 실시간 메트릭 모니터링 메인이 도움이 될 수 있습니다.

"얼마나 많은 사용자가 있습니까?" 그는 자극했다. Altman은“마지막으로 우리가 마지막으로 말한 것은 매주 5 억 명의 행위자이며 매우 빠르게 성장하고 있다고 생각합니다. 앤더슨은 계속해서“당신은 나에게 몇 주 만에 두 배가되었다고 말했습니다. “저는 그 개인이라고 말했습니다

소개 Mistral은 최초의 멀티 모드 모델, 즉 Pixtral-12B-2409를 발표했습니다. 이 모델은 Mistral의 120 억 개의 매개 변수 인 NEMO 12B를 기반으로합니다. 이 모델을 차별화하는 것은 무엇입니까? 이제 이미지와 Tex를 모두 가져갈 수 있습니다

쿼리에 응답 할뿐만 아니라 자율적으로 정보를 모으고, 작업을 실행하며, 여러 유형의 데이터 (텍스트, 이미지 및 코드를 처리하는 AI 구동 조수가 있다고 상상해보십시오. 미래처럼 들리나요? 이것에서

소개 금융 산업은 효율적인 거래 및 신용 가용성을 촉진함으로써 경제 성장을 주도하기 때문에 모든 국가 개발의 초석입니다. 거래가 발생하는 용이성 및 신용

소개 소셜 미디어, 금융 거래 및 전자 상거래 플랫폼과 같은 소스에서 전례없는 속도로 데이터가 생성되고 있습니다. 이 지속적인 정보 스트림을 처리하는 것은 어려운 일이지만


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

PhpStorm 맥 버전
최신(2018.2.1) 전문 PHP 통합 개발 도구

드림위버 CS6
시각적 웹 개발 도구

mPDF
mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.
