장치에서 Alpaca-Lora를 실행하는 방법

생성 AI가 계속 인기를 끌면서 전 세계 개발자들은 자연어를 사용하여 흥미로운 응용 프로그램을 구축 할 수있는 기회를 포착했습니다. 최근에 Chatgpt라는 도구가 특히 인상적이었습니다.

Chatgpt는 OpenAI가 인간과 같은 대화를 할 수있는 AI 구동 챗봇 역할을하기 위해 개발 한 언어 모델입니다. 매우 유용한 도구이지만 문제가 없습니다. ChatGpt는 오픈 소스가 아니므로 소스 코드가 액세스 할 수 없으며 수정할 수 없습니다. 또한 매우 자원 집약적이므로 자체 구현을 구축하는 것이 나쁜 솔루션이됩니다.

이러한 문제는 chatgpt와 같이 실행될 수 있지만 오픈 소스 라이센스와 리소스 요구 사항이 적은 Alpaca-Lora와 같은 Chatgpt에 대한 다양한 대안을 생성했습니다.

이 튜토리얼에서는 Alpaca-Lora에 중점을 둘 것입니다. 우리는 그것이 무엇인지, 전제 조건을 장치에서 실행하는 데 필요한 전제 조건 및이를 수행하는 단계를 다룰 것입니다.

Alpaca Lora는 무엇입니까?

2023 년 3 월 초, Eric J. Wang은 Alpaca-Lora 프로젝트를 발표했습니다. 이것은 PEFT (Parameter Efficial Fine Teak)를 사용하여 Standford Alpaca의 결과를 재현하기위한 코드 함유 프로젝트입니다.

대형 언어 모델의 LORA (Low Rank Adaptation)는 메모리 소비를 줄이면서 큰 모델 교육 프로세스를 가속화하는 데 사용되는 방법입니다.

는 다음과 같이 작동합니다

기존 무게를 얼려 . 모델을 상호 연결된 노드의 복잡한 네트워크로 생각하십시오 ( "무게"). 일반적으로 교육 중에 이러한 모든 노드를 조정하여 모델을 개선합니다. "이것을 만지지 말자; 그대로 유지합시다.". 새로운 무게를 추가하십시오 . 그런 다음 Lora는이 네트워크에 새롭고 간단한 연결 (새로운 가중치)을 추가합니다.

새로운 무게 만 훈련하십시오. 전체 복잡한 네트워크를 조정하는 대신 새롭고 간단한 연결을 개선하는 데 중점을 둡니다.

이 작업을 수행하면 시간과 컴퓨터 메모리를 절약하면서 모델이 작업에서 더 나은 성능을 발휘할 수 있습니다.

로라의 장점 로라의 장점은 다음과 같습니다

rank 분해 중량 매트릭스에는 원래 모델보다 훈련 가능한 매개 변수가 훨씬 적으며, 훈련 된 LORA 중량은 포트가 쉽고 Raspberry PI에서 실행할 수 있습니다.
• 접근성 -LORA는 기존의 미세 튜닝에 비해 GPU 메모리 사용량을 크게 줄이는 것으로 나타났습니다.
• 알파카 : 오픈 소스 모델 반면에, Alpaca는 LLAMA (Lange Model Meta AI)를 기반으로 한 오픈 소스 명령 미세 조정 AI 언어 모델입니다. 스탠포드 대학교 (Stanford University)의 연구원들이 대형 언어 모델 (LLMS)에보다 접근하기 쉽게 만들기 위해 개발되었습니다. 이것은 알파카 로라로 이어집니다. Alpaca-Lora 모델은 Stanford Alpaca 모델의 리소스 소비 버전으로 LORA를 사용하여 훈련 프로세스 속도를 높이고 메모리를 덜 소비합니다.

  알파카-로라 전제 조건 Alpaca-Lora 모델을 로컬로 실행하려면 GPU가 있어야합니다. NVIDIA T4 또는 4090과 같은 소비자 등급의 GPU와 같은 낮은 SPEC GPU 일 수 있습니다. 프로젝트 제작자 인 Eric J. Wang에 따르면이 모델은“RTX 4090에서 실행하는 데 몇 시간이 걸립니다.”

  ** 참고 :

  이 기사의 지침은 Alpaca-Lora 코드 기반의 Eric J. Wang이 제공 한 지침을 따릅니다. *

  4 단계에서 알파카-로라를 실행하는 방법 1 단계 : 가상 환경을 만듭니다 (선택 사항) 가상 환경은 특정 프로젝트에 필요한 파이썬 관련 종속성을 저장하기위한 고립 된 컨테이너입니다. 이를 통해 다른 프로젝트에 필요한 의존성을 분리하여 프로젝트를보다 쉽게 ​​공유하고 종속성 충돌을 줄일 수 있습니다.

  Alpaca-Lora 모델을 실행하는 데 사용하는 것은 필수는 아니지만 권장됩니다.

  Windows 운영 체제의 명령 프롬프트에서 가상 환경을 만들려면 다음 명령을 실행하십시오.

  이것은 현재 작업 디렉토리에서 Venv라는 가상 환경을 만듭니다. ** 참고 :

  는 두 번째 Venv를 선호하는 이름으로 원하는 이름으로 바꿀 수 있습니다. *

  종속성을 설치하기 전에 가상 환경을 활성화해야합니다. 가상 환경을 활성화하려면 다음 명령을 실행하십시오.

  더 이상 가상 환경을 사용하지 않으면 다음 명령을 실행하여 비활성화하십시오.

  이제 Alpaca-Lora를 실행할 수 있습니다.

  2 단계 :

  를 설정합니다 Alpaca-Lora 모델을 실행하는 첫 번째 단계는 Github에서 코드 기반을 복제하고 실행하는 데 필요한 종속성을 설치하는 것입니다.

  다음 명령으로 GitHub 코드베이스를 설치하십시오.

  그런 다음 다음 명령을 사용하여 방금 설치 한 Alpaca-Lora 코드베이스로 이동하십시오.

  및 종속성을 설치하려면 다음 명령을 실행하십시오.

  3 단계 : 모델을 미세 조정 (선택 사항) Alpaca-Lora 코드베이스에는 Finetune.py라는 파일이 포함되어 있습니다. FINETUNE.PY에는 매개 변수 효율적인 미세 조정 (PEFT)을위한 간단한 응용 프로그램이 포함되어 있습니다.

  모델의 하이퍼 파라미터를 조정하려면이 파일을 실행해야하지만 필수 요구 사항은 아닙니다. Codebase 저자에 따르면 "하이퍼 파라미터 튜닝이 필요하지 않으므로 LORA 모델은 스탠포드 알파카 모델과 비슷한 출력을 생성합니다. 추가 튜닝은 더 나은 성능을 달성 할 수 있습니다 ..."

  <code>py -m venv venv</code>

  다음은 finetune.py 파일을 사용하는 방법의 예입니다.

  4 단계 : 모델/unserferent 를 실행하십시오 Alpaca-Lora 코드베이스에는 generate.py라는 파일도 있습니다. Execution Generate.py는 다음을 수행합니다

  Hugging Face Model Center의 기본 모델을 읽으십시오 tloen/alpaca-lora-7b 에서 모델 가중치를 읽으십시오 지정된 입력에서 추론이 수행되는 Gradio 인터페이스를 시작합니다.

• 글을 쓰는 시점에서 모델을 훈련시키는 데 사용되는 최신 알파카-로라 어댑터는 Alpaca-Lora-7b입니다. 이것은 2023 년 3 월 26 일에 다음 명령으로 이루어졌습니다.
다른 어댑터를 사용하려면 선호하는 어댑터 대상에 대한 링크가있는 Generate.py 파일을 실행하여 그렇게 할 수 있습니다.

요약 Alpaca-Lora는 Stanford Alpaca 모델의 리소스 소비 버전입니다. 대형 언어 모델의 저급 적응 (LORA)을 활용하여이를 달성하여 원래 Alpaca 모델보다 메모리를 적게 소비하면서 교육 프로세스 속도를 높입니다.

다음 튜토리얼을 사용하여 대형 언어 모델 (LLM) 및 생성 AI에 대해 자세히 알아보십시오.

메타 ai llama 소개

<code>py -m venv venv</code>

Pytorch로 LLM을 훈련시키는 방법 : 단계별 안내서

위 내용은 장치에서 Alpaca-Lora를 실행하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!