최근 직장에서 특정 사용 사례에 맞게 문장을 분류해야 했습니다. Jeremy Howard의 강의 4: 완전 초보자를 위한 NLP 시작하기를 기억하며 먼저 DEBERTA를 미세 조정하기 위해 그의 노트를 적용했습니다.
효과가 있었지만 만족스럽지 않아서 LLAMA 3과 같은 LLM을 사용하면 어떻게 될지 궁금했습니다. 문제는? 제한된 GPU 리소스. Tesla/Nvidia T4 인스턴스에만 액세스할 수 있었습니다.
연구를 통해 QLORA를 선택하게 되었습니다. QLoRA를 사용한 주식 감정의 텍스트 분류를 위한 미세 조정 LLama 3 LLM에 대한 이 튜토리얼은 특히 유용했습니다. 튜토리얼을 더 잘 이해하기 위해 강의 4를 QLORA 튜토리얼 노트에 적용했습니다.
QLORA는 두 가지 주요 기술을 사용합니다.
이를 통해 약 12GB의 VRAM을 사용하여 16GB VRAM T4에서 LLAMA 3 8B를 훈련할 수 있었습니다. 결과는 예측 정확도가 90%가 넘을 정도로 놀라울 정도로 좋았습니다.
Confusion Matrix: [[83 4] [ 4 9]] Classification Report: precision recall f1-score support 0.0 0.95 0.95 0.95 87 1.0 0.69 0.69 0.69 13 accuracy 0.92 100 macro avg 0.82 0.82 0.82 100 weighted avg 0.92 0.92 0.92 100 Balanced Accuracy Score: 0.8231653404067196 Accuracy Score: 0.92
다음은 프로세스를 자세히 설명하는 iPython 노트북입니다.
이 접근 방식은 제한된 하드웨어에서 대규모 언어 모델로 작업하는 것이 가능하다는 것을 보여줍니다. 제약 조건을 다루는 것은 종종 창의적인 문제 해결 및 학습 기회로 이어집니다. 이 경우에는 한계로 인해 보다 효율적인 미세 조정 기술을 탐색하고 구현하게 되었습니다.
위 내용은 제한된 리소스로 LLAMA 또는 텍스트 분류 미세 조정의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!