파이썬의 Langchain에 대한 완전한 가이드

Langchain : 언어 모델 및 에이전트 구축, 실험 및 분석을위한 강력한 파이썬 라이브러리

코어 포인트 :

Langchain은 언어 모델 및 에이전트의 생성, 실험 및 분석을 단순화하는 파이썬 라이브러리로 자연어 처리를위한 광범위한 기능을 제공합니다.

텍스트를 이해하고 생성 할 수있는 다기능 에이전트를 생성 할 수 있으며 다양한 언어 관련 작업을 수행하도록 특정 동작 및 데이터 소스를 구성 할 수 있습니다. Langchain은 LLM (Lange Language Model), 채팅 모델 및 텍스트 임베딩 모델의 세 가지 유형의 모델을 제공하며, 각 모델은 언어 처리 작업에 고유 한 기능을 제공합니다. 또한 대형 텍스트를 관리하기 쉬운 블록으로 분류하고, 여러 LLM 기능을 체인을 통해 연결하여 복잡한 작업을 수행하고, OpenAI 외부의 다양한 LLM 및 AI 서비스와 통합되는 것과 같은 기능을 제공합니다.

Langchain은 개발자와 연구원이 언어 모델과 에이전트를 생성, 실험 및 분석 할 수있는 강력한 Python 라이브러리입니다. NLP (Natural Language Processing) 애호가에게 사용자 정의 모델 구축에서 효율적인 조작 텍스트 데이터에 이르기까지 풍부한 기능 세트를 제공합니다. 이 포괄적 인 가이드에서, 우리는 Langchain의 기본 구성 요소를 파고 파이썬에서 그 힘을 활용하는 방법을 보여줄 것입니다.
환경 설정 : 이 기사를 배우려면 새 폴더를 만들고 PIP를 사용하여 Langchain 및 OpenAi를 설치하십시오.
에이전트 :
• Langchain에서 에이전트는 텍스트를 이해하고 생성 할 수있는 엔티티입니다. 이 에이전트는 특정 동작 및 데이터 소스를 구성 할 수 있으며 다양한 언어 관련 작업을 수행하도록 교육을 받으므로 다양한 응용 프로그램을위한 다기능 도구가됩니다.
• 랑 체인 에이전트 생성 : 대행사는 "도구"를 사용하여 필요한 데이터를 수집하고 좋은 응답을 개발하도록 구성 할 수 있습니다. 아래 예제를 참조하십시오. SERP API (인터넷 검색 API)를 사용하여 질문 또는 입력과 관련된 정보를 검색하고 응답합니다. 또한 LLM-Math 도구를 사용하여 수학 연산을 수행합니다. 예를 들어 단위를 변환하거나 두 값 사이의 백분율 변경을 찾습니다.

대행사 테스트 예 1 :

이 에이전트를 다음과 같은 입력으로 테스트 해 봅시다 :
보시다시피 다음 논리를 사용합니다.
SERP 인터넷 검색 API를 사용하여 "전세계 2022 년 전세계 2022"검색 분석을위한 최상의 결과 관련 숫자를 받으십시오 LLM-Math 도구를 사용하여 906 GW를 Joule로 변환합니다.
대행사 테스트 예 2 :
• Langchain 에이전트는 인터넷 검색에만 국한되지 않습니다. 우리는 거의 모든 데이터 소스 (자체 포함)를 Langchain 에이전트에 연결하고 데이터에 대한 질문을 할 수 있습니다. CSV 데이터 세트에서 훈련 된 에이전트를 만들어 보겠습니다.
Kaggle의 Shivam Bansal 에서이 Netflix 영화 및 TV 쇼 데이터 세트를 다운로드하여 디렉토리로 옮깁니다. 이제이 코드를 새 Python 파일에 추가하십시오.
• 이 코드는 Create_csv_agent 함수를 호출하고 netflix_titles.csv 데이터 세트를 사용합니다. 다음 그림은 테스트를 보여줍니다.
위에서 볼 수 있듯이, 논리는 캐스트 칼럼에서 "Christian Bale"의 모든 발생을 찾는 것입니다.
우리는 또한 다음과 같은 Pandas Dataframe Agent를 만들 수 있습니다 :

. 우리가 실행하면 아래와 같이 결과를 볼 수 있습니다.

이것들은 몇 가지 예일뿐입니다. Langchain과 함께 거의 모든 API 또는 데이터 세트를 사용할 수 있습니다.

모델 :

Langchain에는 세 가지 유형의 모델이 있습니다 : LLM (Language Model), 채팅 모델 및 텍스트 임베딩 모델. 몇 가지 예를 들어 각 유형의 모델을 탐색합시다.

큰 언어 모델 :

pip3 install langchain openai

langchain은 파이썬에서 큰 언어 모델을 사용하여 텍스트 입력을 기반으로 텍스트 출력을 생성하는 방법을 제공합니다. 채팅 모델만큼 복잡하지 않으며 간단한 입력 출력 언어 작업에 가장 적합합니다. 다음은 OpenAi를 사용하는 예입니다 :

위에서 볼 수 있듯이 GPT-3.5-Turbo 모델을 사용하여 제공된 입력에 대한 출력을 생성합니다 ( "Matt Nikonorov의 랩 이름을 제기하십시오"). 이 예에서는 LLM을보다 창의적으로 만들기 위해 온도를 0.9로 설정했습니다. 그것은“MC Megamatt”를 생각해 냈습니다. 나는 9/10 마크를 주었다.

채팅 모델 :

LLM 모델에 랩 이름을 제시하는 것은 재미 있지만, 더 복잡한 답변과 대화를 원한다면 채팅 모델을 사용하여 기술을 향상시켜야합니다. 기술적으로 채팅 모델은 큰 언어 모델과 어떻게 다릅니 까? Langchain 문서의 말에 :

채팅 모델은 큰 언어 모델의 변형입니다. 채팅 모델은 백그라운드에서 큰 언어 모델을 사용하지만 약간 다른 인터페이스를 사용합니다. "텍스트 입력, 텍스트 출력"API를 사용하지 않지만 입력 및 출력의 인터페이스로 "채팅 메시지"를 사용합니다.

이것은 간단한 파이썬 채팅 모델 스크립트입니다 :

위에서 볼 수 있듯이 코드는 먼저 SystemMessage를 보내고 챗봇을 친절하고 비공식적으로 지시 한 다음 HumanMessage를 보내고 챗봇에게 Djokovich가 Federer보다 낫다고 확신하도록 지시합니다.

이 챗봇 모델을 실행하면 아래에 표시된 결과가 표시됩니다.

pip3 install langchain openai

삽입 :

Embing은 텍스트 블록의 단어와 숫자를 벡터로 변환하는 방법을 제공하여 다른 단어 나 숫자와 관련 될 수 있습니다. 이것은 추상적으로 들릴 수 있으므로 예를 살펴 보겠습니다 :
이것은 부동 소수점 번호의 목록을 반환합니다. 이것이 포함 된 것입니다.

임베디드 모델의 사용 사례 : 데이터 또는 특정 텍스트 샘플과 관련된 질문에 대답하기 위해 챗봇 또는 LLM을 교육하려면 임베딩을 사용해야합니다. 세 가지 정보가 포함 된 "텍스트"열로 간단한 CSV 파일 (EMBS.CSV)을 만들어 봅시다.

이제, 이것은 "가장 높은 인간은 누구였습니까?"

이 코드를 실행하면 "Robert Wadlow가 가장 높은 인간이었다"는 출력을 볼 수 있습니다. 이 코드는 각 정보를 포함시키고 "가장 높은 인간은 누구입니까?"라는 질문과 가장 관련이있는 임베딩을 찾아 정답을 찾습니다. 내장 전력! 청크 : Langchain 모델은 큰 텍스트를 동시에 처리하여 응답을 생성하는 데 사용할 수 없습니다. 블록과 텍스트 세분화가 들어오는 곳입니다. Langchain에 공급하기 전에 텍스트 데이터를 블록으로 분할하는 두 가지 간단한 방법을 살펴 보겠습니다.

문자 별 세그먼트 블록 :
블록의 갑작스런 중단을 피하기 위해, 우리는 Newline 또는 Double Newline의 각 발생시 텍스트를 분할하여 단락으로 텍스트를 분할 할 수 있습니다.

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERP_API_KEY" # 获取你的Serp API密钥：https://serpapi.com/

OpenAI.api_key = "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"
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("How much energy did wind turbines produce worldwide in 2022?")

재귀 세그먼테이션 블록 :

특정 길이의 문자별로 텍스트를 엄격히 분할하려면 recursiveCharacterTexTsplitter를 사용할 수 있습니다.

블록 크기 및 오버랩 :

위의 예를 살펴보면 블록 크기와 중첩 매개 변수의 의미와 성능에 어떤 영향을 미치는지 정확히 알고 싶을 수도 있습니다. 이것은 두 가지 방법으로 설명 할 수 있습니다 :
블록 크기는 각 블록의 문자 수를 결정합니다. 블록 크기가 클수록 블록에 데이터가 많을수록 Langchain이 처리하고 출력을 생성하는 데 더 오래 걸리고 그 반대도 마찬가지입니다.
• 블록 오버랩은 블록간에 정보를 공유하여 일부 컨텍스트를 공유하는 컨텐츠입니다. 블록 겹치는 블록이 높을수록 블록이 중복 될수록 블록 겹치는 것이 낮을수록 블록 사이에서 컨텍스트가 줄어 듭니다. 일반적으로, 좋은 블록 오버랩은 블록 크기의 10% ~ 20%이지만, 원하는 블록 겹침은 텍스트 유형과 사용 사례에 따라 다릅니다.
• 체인 :
챕터는 기본적으로 여러 LLM 기능을 연결하여 간단한 LLM 입력을 통해 달성 할 수없는보다 복잡한 작업을 수행합니다. 멋진 예를 살펴 보겠습니다 :

이 코드는 프롬프트에 두 가지 변수를 입력하고 창의적인 답변을 개발합니다 (온도 = 0.9). 이 예에서, 우리는 수학에 관한 공포 영화에 대한 좋은 제목을 제시하도록 요청합니다. 이 코드를 실행 한 후 출력은 "계산 저주"이지만 실제로 체인의 전체 기능을 보여주지는 않습니다. 보다 실용적인 예를 살펴 보겠습니다 이 코드는 혼란스러워 보일 수 있으므로 단계별로 설명해 봅시다.

이 코드는 NAS (힙합 아티스트)의 짧은 전기를 읽고 텍스트에서 다음 값을 추출하여 JSON 객체로 형식화합니다.

아티스트의 이름 아티스트의 음악 장르 아티스트의 첫 번째 앨범

pip3 install langchain openai

아티스트의 첫 번째 앨범

의 출시 연도

프롬프트에서는 "올바른 형식으로 답변해야합니다"도 항상 JSON 형식으로 출력을 얻도록 지정했습니다. 이 코드의 출력은 다음과 같습니다

cheak_strated_output_chain 함수에 JSON 패턴을 제공함으로써 체인을 JSON 형식으로 출력으로 만듭니다.

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI
import os

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
os.environ["SERPAPI_API_KEY"] = "YOUR_SERP_API_KEY" # 获取你的Serp API密钥：https://serpapi.com/

OpenAI.api_key = "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"
llm = OpenAI(model="gpt-3.5-turbo", temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)
agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True)
agent.run("How much energy did wind turbines produce worldwide in 2022?")

Openai를 넘어서 :

랑 체인의 다른 기능의 예로 OpenAI 모델을 사용하고 있지만 OpenAI 모델에 국한되지는 않습니다. 우리는 다른 많은 LLM 및 AI 서비스와 함께 Langchain을 사용할 수 있습니다. (이것은 Langchain의 통합 LLM의 전체 목록입니다.)

예를 들어 우리는 코셔를 Langchain과 사용할 수 있습니다. 이것은 Langchain Cohere Integration의 문서이지만 실제 예를 제공하기 위해 Cohere를 설치 한 후 Cohere를 설치 한 후 Langchain과 Cohere를 사용하여 간단한 Q & A 코드를 작성할 수 있습니다.

위의 코드는 다음 출력을 생성합니다

결론 :
• 이 가이드에서는 랑케인의 다른 측면과 기능을 보았습니다. 이 지식을 마스터하면 Langchain의 기능을 사용하여 연구원, 개발자 또는 애호가이든 NLP 작업을 수행 할 수 있습니다.
이 기사의 모든 이미지와 nas.txt 파일이 포함 된 github에서 저장소를 찾을 수 있습니다.
• 나는 당신에게 Python에서 Langchain을 실험하는 행복한 코딩과 실험을 기원합니다!

위 내용은 파이썬의 Langchain에 대한 완전한 가이드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!