llama.cpp 튜토리얼 : 효율적인 LLM 추론 및 구현을위한 완전한 안내서

LLMS (Lange Language Models)는 고객 서비스 챗봇에서 고급 데이터 분석 도구에 이르기까지 응용 프로그램을 전원으로 전환하고 있습니다. 그러나 강력한 하드웨어와 빠른 응답 시간에 대한 필요성으로 인해 광범위한 채택이 방해됩니다. 이 모델은 일반적으로 정교한 하드웨어와 광범위한 종속성을 요구하므로 자원으로 제한된 환경에 배포하기가 어려워집니다. llama.cpp (또는 llama c)는 솔루션을 제공하여 더 무거운 프레임 워크에 대한 더 가볍고 휴대용 대안을 제공합니다.

llama.cpp 로고 (소스)

Georgi Gerganov, llama.cpp에 의해 개발 된 CPP는 Meta의 Llama Architecture를 C/C로 효율적으로 구현합니다. 900 명 이상의 기고자, 69,000 Github 스타 및 2,600 개 릴리스와 함께 활기찬 오픈 소스 커뮤니티를 자랑합니다.

llm mama.cpp의 주요 장점

범용 호환성 :

CPU-First 디자인은 다양한 프로그래밍 환경 및 플랫폼에서 통합을 단순화합니다. 기능 풍부함 : 핵심 저수준 기능에 초점을 맞추는 동안 Langchain의 높은 수준의 기능을 반영하고 개발을 간소화합니다 (확장 성이 향후 고려 될 수 있음).

. 타겟팅 최적화 : 라마 아키텍처 (GGML 및 GGUF와 같은 형식 사용)에 집중하면 효율이 상당한 이익을 얻습니다.

llama.cpp 아키텍처 와 같은 모델에서 몇 가지 개선 사항을 통합했습니다

변압기와 라마 (Umar Jamil)의 건축 적 차이

주요 아키텍처 차이점은 다음과 같습니다

프리 정규화 (gpt3) : rmsnorm을 사용하여 훈련 안정성을 향상시킵니다 Swiglu 활성화 함수 (Palm) : 성능 향상을 위해 Relu를 대체합니다 로터리 임베딩 (GPT-Neo) :

절대 위치 임베드를 제거한 후 로프를 추가합니다.

환경 설정 전제 조건 :
파이썬 (PIP의 경우)
• 가상 환경 생성 설치 충돌을 피하려면 Conda를 사용하여 가상 환경을 만듭니다.
<:> 라이브러리를 설치하십시오 :
• : 를 사용하여 간단한 파이썬 스크립트 ()를 만들어 설치를 확인하고 실행하십시오. 가져 오기 오류는 문제를 나타냅니다.
llama.cpp 기본 이해

Core

클래스는 여러 매개 변수를 취합니다 (전체 목록은 공식 문서 참조) :
: 모델 파일로가는 경로. : 입력 프롬프트.

conda create --name llama-cpp-env
conda activate llama-cpp-env

: CPU 또는 GPU

: 최대 토큰이 생성되었습니다 : 생성을 중단하기위한 문자열 목록 : 랜덤 니스 (0-1)를 제어합니다

: 예측의 다양성을 제어합니다. : 출력에 프롬프트를 포함 시키십시오 (true/false)

pip install llama-cpp-python  # or pip install llama-cpp-python==0.1.48

예제 인스턴스화 :

첫 번째 llama.cpp 프로젝트 이 프로젝트는 포옹 얼굴에서 Zephyr-7b-Beta의 GGUF 버전을 사용합니다. llama_cpp_script.py from llama_cpp import Llama 포그 페이스 (Source)의 Zephyr 모델 (소스)

프로젝트 구조 : [프로젝트 구조를 보여주는 이미지] <:> 모델 로딩 :

<:> 텍스트 생성 함수 :

Llama <: :> 메인 실행 :

예 : ETP4AFRICA는 교육용 앱에 llama.cpp를 사용하여 휴대 성과 속도로부터 혜택을 받아 실시간 코딩 지원을 허용합니다.
• 결론 이 튜토리얼은 LLM 추론을 위해 llama.cpp를 설정하고 사용하는 포괄적 인 안내서를 제공했습니다. 환경 설정, 기본 사용법, 텍스트 생성 예제 및 실제 응용 프로그램 시나리오를 다루었습니다. Langchain과 Pytorch의 추가 탐사가 권장됩니다 faqs (FAQS는 원래 입력에서와 동일하게 유지되며, 더 나은 가독성을 위해 형식화 된 형식으로 유지) model_path

위 내용은 llama.cpp 튜토리얼 : 효율적인 LLM 추론 및 구현을위한 완전한 안내서의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!