Pytorch의 핵심 기능인 자동 파생을 깊이 이해해보세요!

안녕하세요 샤오좡이에요!

pytorch의 자동 파생 작업에 대해 pytorch의 자동 파생 개념을 소개합니다.

자동 파생은 기울기를 계산하고 매개변수 업데이트 및 최적화를 달성하는 데 사용되는 딥 러닝 프레임워크의 중요한 기능입니다.

PyTorch는 동적 계산 그래프와 자동 파생 메커니즘을 사용하여 기울기 계산 프로세스를 단순화하는 일반적으로 사용되는 딥 러닝 프레임워크입니다.

자동 파생

자동 파생은 기계 학습 프레임워크의 중요한 기능으로 함수의 도함수(기울기)를 자동으로 계산하여 딥 러닝 모델 학습 프로세스를 단순화할 수 있습니다. 딥 러닝에서는 모델에 많은 수의 매개변수가 포함되는 경우가 많으며 기울기를 수동으로 계산하면 복잡해지고 오류가 발생하기 쉽습니다. PyTorch는 자동 파생 기능을 제공하므로 사용자는 쉽게 기울기를 계산하고 역전파를 수행하여 모델 매개변수를 업데이트할 수 있습니다. 이 기능의 도입으로 딥러닝의 효율성과 사용 편의성이 크게 향상되었습니다.

작은 원리

PyTorch의 자동 파생 기능은 동적 계산 그래프를 기반으로 합니다. 계산 그래프(computation graph)는 함수 계산 과정을 표현하기 위해 사용되는 그래프 구조로, 노드는 연산을 나타내고 엣지는 데이터 흐름을 나타낸다. 정적 계산 그래프와 달리 동적 계산 그래프의 구조는 미리 정의되어 있지 않고 실제 실행 과정을 기반으로 동적으로 생성될 수 있습니다. 이러한 설계 덕분에 PyTorch는 다양한 컴퓨팅 요구 사항에 맞춰 유연하고 확장 가능하게 되었습니다. 동적 계산 그래프를 통해 PyTorch는 작업 내역을 기록하고 역전파를 수행하며 필요에 따라 기울기를 계산할 수 있습니다. 이로 인해 PyTorch는 딥러닝 분야에서 널리 사용되는 프레임워크 중 하나가 되었습니다.

PyTorch에서는 사용자의 모든 작업을 기록하여 계산 그래프를 만듭니다. 이런 식으로 기울기를 계산해야 할 때 PyTorch는 계산 그래프에 따라 역전파를 수행하고 손실 함수에 대한 각 매개변수의 기울기를 자동으로 계산할 수 있습니다. 동적 계산 그래프를 기반으로 한 이 자동 파생 메커니즘은 PyTorch를 유연하고 확장 가능하게 만들어 다양하고 복잡한 신경망 구조에 적합하게 만듭니다.

자동 파생을 위한 기본 연산

1. Tensor

PyTorch에서 텐서는 자동 파생을 위한 기본 데이터 구조입니다. 텐서는 NumPy의 다차원 배열과 유사하지만 자동 파생과 같은 추가 기능이 있습니다. torch.Tensor 클래스를 통해 사용자는 텐서를 생성하고 이에 대한 다양한 작업을 수행할 수 있습니다.

import torch# 创建张量x = torch.tensor([2.0], requires_grad=True)

위의 예에서 require_grad=True는 이 텐서를 자동으로 구별한다는 의미입니다.

2. 계산 그래프 구성

수행되는 각 작업은 계산 그래프에 노드를 생성합니다. PyTorch는 덧셈, 곱셈, 활성화 함수 등과 같은 다양한 텐서 연산을 제공하여 계산 그래프에 흔적을 남깁니다.

# 张量操作y = x ** 2z = 2 * y + 3

위 예시에서는 y와 z의 계산 과정이 계산 그래프에 기록되어 있습니다.

3. 기울기 계산 및 역전파

계산 그래프가 생성되면 .backward() 메서드를 호출하여 기울기를 자동으로 계산하여 역전파를 수행할 수 있습니다.

# 反向传播z.backward()

이때, x.grad에 접속하면 x의 기울기를 얻을 수 있습니다.

# 获取梯度print(x.grad)

4. 그라데이션 추적 비활성화

때때로 특정 작업에 대한 그라데이션 추적을 비활성화하려면 torch.no_grad() 컨텍스트 관리자를 사용할 수 있습니다.

with torch.no_grad():# 在这个区域内的操作不会被记录在计算图中w = x + 1

5. 기울기 지우기

훈련 루프에서는 일반적으로 기울기 축적을 피하기 위해 각 역전파 전에 기울기를 지워야 합니다.

# 清零梯度x.grad.zero_()

완전한 사례: 선형 회귀의 자동 도출

자동 도출 과정을 보다 구체적으로 설명하기 위해 간단한 선형 회귀 문제를 고려해 보겠습니다. 선형 모델과 평균 제곱 오류 손실 함수를 정의하고 자동 파생을 사용하여 모델 매개변수를 최적화합니다.

import torch# 数据准备X = torch.tensor([[1.0], [2.0], [3.0]])y = torch.tensor([[2.0], [4.0], [6.0]])# 模型参数w = torch.tensor([[0.0]], requires_grad=True)b = torch.tensor([[0.0]], requires_grad=True)# 模型和损失函数def linear_model(X, w, b):return X @ w + bdef mean_squared_error(y_pred, y_true):return ((y_pred - y_true) ** 2).mean()# 训练循环learning_rate = 0.01epochs = 100for epoch in range(epochs):# 前向传播y_pred = linear_model(X, w, b)loss = mean_squared_error(y_pred, y)# 反向传播loss.backward()# 更新参数with torch.no_grad():w -= learning_rate * w.gradb -= learning_rate * b.grad# 清零梯度w.grad.zero_()b.grad.zero_()# 打印最终参数print("训练后的参数：")print("权重 w:", w)print("偏置 b:", b)

이 예에서는 간단한 선형 모델과 평균 제곱 오류 손실 함수를 정의합니다. 여러 번의 반복 훈련 루프를 통해 모델의 매개변수 w와 b가 최적화되어 손실 함수를 최소화합니다.

마지막으로

PyTorch의 자동 파생은 딥 러닝에 대한 강력한 지원을 제공하여 모델 훈련을 더욱 간단하고 효율적으로 만듭니다.

동적 계산 그래프와 경사 계산을 통해 사용자는 복잡한 신경망 구조를 쉽게 정의하고 자동 도출을 통한 경사 하강 등의 최적화 알고리즘을 구현할 수 있습니다.

이를 통해 딥 러닝 연구원과 엔지니어는 기울기 계산의 세부 사항에 대해 걱정할 필요 없이 모델 설계 및 실험에 더 집중할 수 있습니다.

위 내용은 Pytorch의 핵심 기능인 자동 파생을 깊이 이해해보세요!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!