미세 조정 젬마 2 및 로컬로 사용합니다

이 튜토리얼은 환자 의사 대화 데이터 세트에서 Google의 Gemma 2 모델을 미세 조정하고 오프라인 사용을 위해 배포하는 것을 보여줍니다. 우리는 모델 준비, LORA와의 미세 조정, 모델 병합, 양자화 및 Jan Application을 사용한 로컬 배치를 다룰 것입니다.

젬마 이해 2 Google의 최신 오픈 소스 대형 언어 모델 (LLM) 인 Gemma 2는 허용 라이센스로 9B 및 27B 매개 변수 버전을 제공합니다. 개선 된 아키텍처는 다양한 하드웨어에서 더 빠른 추론을 제공하여 포옹 페이스 트랜스포머, JAX, Pytorch 및 Tensorflow와 완벽하게 통합됩니다. 향상된 안전 기능 및 윤리적 AI 배포 도구도 포함되어 있습니다.

gemma 2

액세스 및 실행 이 섹션에서는 4 비트 양자화와의 추론을 다운로드하고 실행하는 자세한 내용 (소비자 하드웨어의 메모리 효율에 필요).

패키지 설치 : install ,

및

포옹 얼굴 인증 : 포옹 페이스 토큰 (포옹 얼굴 계정에서 얻은)을 사용하여 인증.

로드 모델 및 토 케이저 :

4 비트 양자화 및 적절한 장치 매핑을 사용하여 모델을로드하십시오.

1. 추론 :

   프롬프트를 만들고, 토큰 화하고, 응답을 생성하고, 해독합니다. bitsandbytes transformers accelerate

Lora 와 함께 미세 조정 Gemma 2 이 섹션은 효율적인 교육을 위해 LORA (저 순위 적응)를 사용하여 의료 데이터 세트에서 미세 조정 Gemma 2를 안내합니다.

2. 설정 : 필요한 패키지를 설치합니다 (, , ,

   , , ). 포옹하는 얼굴과 무게 및 편견으로 인증
3. 모델 및 토큰 화기로드 : 4 비트 양자화, GPU 기능을 기반으로 데이터 유형 조정 및주의 구현을 갖춘 gemma 2 (9B-IT). LORA 매개 변수를 구성합니다

   데이터 세트로드 : 로드 및 데이터 세트로드 및 전처리하여 모델에 적합한 채팅 형식을 만듭니다.

4. 훈련 :

   훈련 인수를 설정하고 (필요에 따라 하이퍼 파라미터 조정) 를 사용하여 모델을 훈련시킵니다. 웨이트 및 바이어스로 교육 진행 상황을 모니터링하십시오 SFTTrainer

평가 :

평가 보고서를 생성하기 위해 가중치 및 바이어스가 실행됩니다.

모델 저장 :

미세 조정 된 로라 어댑터를 로컬로 저장하고 포옹 페이스 허브로 밀어 넣으십시오.

5. 어댑터와 기본 모델을 병합

   이 단계는 미세 조정 된 LORA 어댑터를 하나의 배포 가능한 모델에 대해 Base Gemma 2 모델과 병합합니다. 이것은 메모리 제약을 관리하기 위해 CPU에서 수행됩니다.

6. 설정 : 새 노트북 (CPU 기반)을 만들고 필요한 패키지를 설치하고 포옹 얼굴로 인증하십시오. 로드 및 병합 :

   기본 모델과 저장된 어댑터를로드 한 다음 를 사용하여 병합하십시오.

저장 및 밀기 : 합병 된 모델을 저장하고 토큰 화기를 로컬로 저장하고 포옹 페이스 허브로 밀어 넣습니다.

포옹 페이스 스페이스로 양자화

최적의 로컬 배치를 위해 모델을 GGUF 형식으로 쉽게 변환하고 정량화하기 위해 GGUF My Repo Hugging Face Space를 사용하십시오.

1. jan 와 함께 로컬로 미세 조정 모델을 사용합니다 Jan 응용 프로그램을 다운로드하여 설치하십시오
Hugging Face Hub에서 양자화 된 모델을 다운로드하십시오

2. 1 월에 모델을로드하고 매개 변수 (정지 시퀀스, 페널티, 최대 토큰, 지침)를 조정하고 미세 조정 모델과 상호 작용합니다. PeftModel.merge_and_unload()

   결론
3. 이 튜토리얼은 Gemma 2를 미세 조정 및 배포하기위한 포괄적 인 안내서를 제공합니다. 하드웨어 및 데이터 세트를 기반으로 하이퍼 파라미터 및 설정을 조정해야합니다. 잠재적으로 더 빠른 훈련과 추론을 위해 Keras 3을 탐색하는 것을 고려하십시오.

위 내용은 미세 조정 젬마 2 및 로컬로 사용합니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!