오픈 소스 모델(llama)을 사용하여 나만의 사용자 정의 LLM 에이전트 만들기

이 기사에서는 PC에서 로컬로 실행되는 오픈 소스 LLM(llama3.1)을 사용하는 사용자 지정 에이전트를 만드는 방법을 알아봅니다. Ollama와 LangChain도 사용할 예정입니다.

개요

• 올라마 설치
• 풀 모델
• 서브모델
• 새 폴더를 만들고 코드 편집기로 엽니다
• 가상 환경 생성 및 활성화
• langchain langchain-ollama 설치
• Python의 오픈 소스 모델을 사용하여 맞춤형 에이전트 구축
• 결론

올라마 설치

GitHub README에서 OS 유형에 따른 지침에 따라 Ollama를 설치하세요.

https://github.com/ollama/ollama

저는 Linux 기반 PC를 사용하고 있으므로 터미널에서 다음 명령을 실행하겠습니다.

curl -fsSL https://ollama.com/install.sh | sh

풀 모델

다음 명령을 통해 사용 가능한 LLM 모델을 가져옵니다.

ollama pull llama3.1

이렇게 하면 모델의 기본 태그 버전이 다운로드됩니다. 일반적으로 기본값은 최신의 가장 작은 크기 매개변수 모델을 가리킵니다. 이 경우에는 llama3.1:8b 모델이 됩니다.

다른 버전의 모델을 다운로드하려면 https://ollama.com/library/llama3.1로 이동하여 설치할 버전을 선택한 다음 해당 모델 및 해당 버전 번호와 함께 ollama pull 명령을 실행하세요. . 예: ollama pull llama3.1:70b

Mac에서는 모델이 ~/.ollama/models에 다운로드됩니다

Linux(또는 WSL)에서는 모델이 /usr/share/ollama/.ollama/models에 저장됩니다

서브 모델

데스크톱 애플리케이션을 실행하지 않고 ollama를 시작하려면 다음 명령을 실행하세요.

ollama serve

모든 모델은 localhost:11434에서 자동으로 제공됩니다

새 폴더를 만들고 코드 편집기로 엽니다.

컴퓨터에 새 폴더를 만든 다음 VS Code와 같은 코드 편집기로 엽니다.

가상 환경 생성 및 활성화

터미널을 엽니다. 다음 명령을 사용하여 가상 환경 .venv를 생성하고 활성화합니다.

python3 -m venv .venv

source .venv/bin/activate

langchain langchain-ollama 설치

langchain 및 langchain-ollama를 설치하려면 다음 명령을 실행하세요.

pip install -U langchain langchain-ollama

위 명령은 Python에서 LangChain 및 LangChain-Ollama 패키지를 설치하거나 업그레이드합니다. -U 플래그를 사용하면 이러한 패키지의 최신 버전이 설치되어 이미 존재할 수 있는 이전 버전을 대체합니다.

Python에서 오픈 소스 모델을 사용하여 사용자 정의 에이전트 구축

Python 파일(예: main.py)을 만들고 다음 코드를 추가합니다.

from langchain_ollama import ChatOllama
from langchain.agents import tool
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain.agents.format_scratchpad.openai_tools import (
    format_to_openai_tool_messages,
)
from langchain.agents import AgentExecutor
from langchain.agents.output_parsers.openai_tools import OpenAIToolsAgentOutputParser


llm = ChatOllama(
            model="llama3.1",
            temperature=0,
            verbose=True
        )

@tool
def get_word_length(word: str) -> int:
    """Returns the length of a word."""
    return len(word)


tools = [get_word_length]



prompt = ChatPromptTemplate.from_messages(
            [
                (
                    "system",
                    "You are very powerful assistant",
                ),
                ("user", "{input}"),
                MessagesPlaceholder(variable_name="agent_scratchpad"),
            ]
        )

llm_with_tools = llm.bind_tools(tools)

agent = (
    {
        "input": lambda x: x["input"],
        "agent_scratchpad": lambda x: format_to_openai_tool_messages(
            x["intermediate_steps"]
        ),
    }
    | prompt
    | llm_with_tools
    | OpenAIToolsAgentOutputParser()
)

# Create an agent executor by passing in the agent and tools
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
result = agent_executor.invoke({"input": "How many letters in the word educa"})

if result:
    print(f"[Output] --> {result['output']}")
else:
    print('There are no result..')

위의 코드 조각은 사용자 입력을 처리하고 단어 길이를 계산하는 사용자 정의 도구를 활용하기 위해 ChatOllama 모델(llama3.1)을 사용하여 LangChain 에이전트를 설정합니다. 에이전트에 대한 프롬프트 템플릿을 정의하고 도구를 언어 모델에 바인딩하며 입력을 처리하고 중간 단계의 형식을 지정하는 에이전트를 구성합니다. 마지막으로 특정 입력으로 에이전트를 호출하는 AgentExecutor를 생성합니다. "educa라는 단어에 몇 글자가 포함되어 있나요?"라고 묻는 간단한 질문을 전달한 다음 출력을 인쇄하거나 결과가 없는지 표시합니다.

실행하면 다음과 같은 결과를 얻습니다.

> Entering new AgentExecutor chain...

Invoking: `get_word_length` with `{'word': 'educa'}`


5The word "educa" has 5 letters.

> Finished chain.
[Output] --> The word "educa" has 5 letters.

에이전트가 모델(llama3.1)을 사용하여 도구를 올바르게 호출하여 단어의 문자 수를 가져오는 것을 볼 수 있습니다.

결론

읽어주셔서 감사합니다.

여기에서 Ollama 저장소를 확인하세요: https://github.com/ollama/ollama

위 내용은 오픈 소스 모델(llama)을 사용하여 나만의 사용자 정의 LLM 에이전트 만들기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!