기계 학습을 위한 포옹 얼굴 변환기의 힘 활용

최근 몇 년 동안 Hugging Face[https://huggingface.co/]는 개발자와 연구원에게 광범위한 도구와 리소스를 제공하면서 머신러닝 커뮤니티에서 가장 영향력 있는 플랫폼 중 하나로 부상했습니다. 가장 주목할만한 제품 중 하나는 최신 모델, 데이터 세트 및 애플리케이션을 보다 쉽게 ​​활용할 수 있게 해주는 Transformers 라이브러리입니다. 이 라이브러리를 통해 사용자는 사전 학습된 모델을 프로젝트에 원활하게 통합하고 기계 학습 워크플로를 가속화할 수 있습니다.

이 기사에서는 Transformers 라이브러리와 이를 설치하는 방법을 살펴보고 감정 분석, 텍스트 생성, 제로샷 분류 등의 작업에 파이프라인을 사용하는 몇 가지 실제 사용 사례를 소개합니다.

허깅 페이스 트랜스포머란 무엇인가요?

Transformers 라이브러리는 자연어 처리(NLP), 컴퓨터 비전을 비롯한 다양한 작업에 맞게 미세 조정된 최첨단 사전 학습 모델을 다운로드하고 훈련할 수 있는 API와 도구를 제공합니다. 및 다중 모드 애플리케이션. 사전 훈련된 모델을 사용하면 컴퓨팅 비용, 탄소 배출량, 모델을 처음부터 훈련하는 데 걸리는 시간을 대폭 줄일 수 있습니다. 이는 개발 주기를 가속화하고 머신러닝의 최신 발전을 활용할 수 있는 좋은 방법입니다.

라이브러리는 Python 3.6을 지원하며 PyTorch, TensorFlow 및 Flax와 같은 딥 러닝 프레임워크와 원활하게 작동합니다. Hugging Face 모델 허브에서 직접 모델을 다운로드하고 단 몇 줄의 코드만으로 추론에 사용할 수 있습니다.

설치 가이드

Transformers 라이브러리를 사용하기 전에 개발 환경을 설정하는 것이 필수적입니다. 설치 방법은 다음과 같습니다.

1. 가상 환경 설정

프로젝트 디렉토리에 가상 환경을 생성하는 것부터 시작하세요.

python -m venv .myenv

가상 환경 활성화:

• Linux/macOS:

  source .myenv/bin/activate

올바른 Python 버전을 사용하고 있는지 확인하세요.

python -V

Python 3.6(예: Python 3.10.10)을 사용하고 있는지 확인하세요.

pip를 최신 버전으로 업그레이드하세요.

pip install --upgrade pip

2. Transformers 라이브러리 설치

이제 Transformers를 설치할 준비가 되었습니다. PyTorch를 사용하는 경우 다음 명령을 사용하여 라이브러리와 함께 설치하세요.

pip install 'transformers[torch]'

TensorFlow 2.0의 경우:

pip install 'transformers[tf-cpu]'

아마(연구 환경에서 사용):

python -m venv .myenv

M Mac 또는 ARM 기반 아키텍처를 사용하는 경우 추가 종속성이 필요할 수 있습니다.

  source .myenv/bin/activate

모든 것이 설정되면 다음 Python 명령을 실행하여 설치가 성공했는지 확인하세요.

python -V

성공하면 다음과 유사한 출력이 표시됩니다.

pip install --upgrade pip

빠른 추론을 위해 파이프라인 API 사용

Hugging Face Transformers 라이브러리의 파이프라인 API를 사용하면 기본 코드나 모델 세부정보를 자세히 살펴보지 않고도 복잡한 기계 학습 작업을 쉽게 수행할 수 있습니다. 파이프라인은 전처리, 모델 추론, 후처리를 자동으로 처리합니다.

파이프라인 API로 몇 가지 인기 있는 작업을 사용하는 방법을 살펴보겠습니다.

1. 감성분석

감정 분석에는 긍정적인지 부정적인지와 같이 텍스트 뒤에 숨은 감정적 어조를 결정하는 작업이 포함됩니다. 파이프라인 API를 사용하여 감정 분석을 수행하는 방법은 다음과 같습니다.

pip install 'transformers[torch]'

출력:

pip install 'transformers[tf-cpu]'

파이프라인은 먼저 텍스트를 전처리(토큰화)하고 모델을 통해 전달한 후 마지막으로 결과를 후처리합니다. 이 경우 모델은 입력을 0.999의 높은 점수로 POSITIVE로 분류합니다.

2. 텍스트 생성

Transformers는 GPT-2와 같은 사전 학습된 언어 모델을 사용하여 텍스트를 생성하는 간단한 방법도 제공합니다. 다음은 텍스트 생성 파이프라인을 사용하는 예입니다.

pip install 'transformers[flax]'

출력:

brew install cmake
brew install pkg-config

모델은 '사랑해'라는 메시지를 기반으로 세 가지 변형된 텍스트를 생성합니다. 창의적인 콘텐츠를 생성하거나 주어진 문장을 완성할 때 유용합니다.

3. 제로샷 분류

제로샷 분류는 카테고리에 대한 모델을 명시적으로 학습하지 않고도 텍스트를 카테고리로 분류할 수 있는 강력한 기능입니다. 예를 들어, 특정 데이터세트에 대해 모델을 교육하지 않은 경우에도 텍스트를 사전 정의된 라벨로 분류할 수 있습니다.

예:

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('we love you'))"

출력:

[{'label': 'POSITIVE', 'score': 0.9998704791069031}]

모델은 텍스트가 신뢰도 점수 0.51로 뉴스로 분류될 가능성이 가장 높다고 제안합니다.

원형 차트로 결과를 시각화하여 분포를 더 잘 이해할 수도 있습니다.

from transformers import pipeline

classifier = pipeline("sentiment-analysis", model="distilbert/distilbert-base-uncased-finetuned-sst-2-english")
res = classifier("I love you! I love you! I love you!")

print(res)

이렇게 하면 각 라벨의 확률을 나타내는 원형 차트가 표시되어 모델이 텍스트를 해석하는 방식을 시각화하는 데 도움이 됩니다.

결론

Hugging Face의 Transformers 라이브러리는 최첨단 모델에 액세스하고 이를 다양한 기계 학습 작업에 사용할 수 있는 편리하고 강력한 방법을 제공합니다. 감정 분석, 텍스트 생성 또는 제로샷 분류 작업 중 무엇을 하든 파이프라인 API는 이러한 고급 모델을 프로젝트에 통합하는 프로세스를 단순화합니다.

따라하기 쉬운 설치 지침과 실제 사례를 통해 단 몇 단계만으로 Transformers 활용을 시작할 수 있습니다. Hugging Face 모델 허브는 사전 훈련된 모델의 광범위한 컬렉션도 제공하므로 기계 학습의 최신 발전 사항을 빠르게 구현할 수 있습니다.

위 내용은 기계 학습을 위한 포옹 얼굴 변환기의 힘 활용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!