Langchain 튜토리얼로 LLM 응용 프로그램을 구축하는 방법

OpenAi의 GPT-3, Google Bert 및 Meta의 LLAMA와 같은 대형 언어 모델 (LLM)의 기능은 마케팅 컨텐츠 및 데이터 과학 코드에서시에 이르기까지 다양한 유형의 텍스트를 생성함으로써 다양한 산업을 변화시키고 있습니다. Chatgpt는 사용자 친화적 인 채팅 인터페이스로 인해 상당한 관심을 끌었지만 LLM을 다양한 소프트웨어 응용 프로그램에 통합하여 LLM을 활용하기위한 수많은 미개척 가능성이 존재합니다.

생성 AI 및 LLM의 변형력에 사로 잡힌 경우이 튜토리얼은 완벽합니다. 여기에서는 Langchain을 탐색합니다 - GPT. 와 같은 대형 언어 모델을 기반으로 응용 프로그램을 구축하기위한 오픈 소스 파이썬 프레임 워크입니다. 는 Langchain 및 Openai API AI 코드를 사용하여 를 사용하여 Langchain을 사용하여 AI 애플리케이션을 구축하는 것에 대해 자세히 알아보십시오.

를 따라 Openai API AI 코드를 사용하여 Whisper Speech-to-Text AI로 YouTube 비디오 컨텐츠를 전사하는 방법을 발견 한 다음 GPT를 사용하여 컨텐츠에 대한 질문을합니다. 큰 언어 모델 (llms)이란 무엇입니까? llm은 생성 AI의 유형입니다. 생성 AI와 창의성을 높이는 방법에 대해 배우려면 생성 AI 혁명 내에서 생성 AI를 사용하여 창의성과 팟 캐스트를 향상시키는 블로그를 확인하십시오. 대형 언어 모델 개념에 대한 다가오는 과정에 등록 할 수도 있습니다.

langchain 소개 Langchain은 대형 언어 모델 (LLM)에 의해 구동되는 응용 프로그램의 개발을 촉진하도록 설계된 오픈 소스 프레임 워크입니다. LLM 중심 애플리케이션의 구성을 단순화하는 도구, 구성 요소 및 인터페이스 제품군을 제공합니다. Langchain을 사용하면 언어 모델과의 상호 작용을 관리하고 다른 구성 요소를 원활하게 연결하며 API 및 데이터베이스와 같은 리소스를 통합 할 수 있습니다. 데이터 엔지니어링 및 데이터 응용 프로그램 용 Langchain에 대한 자세한 내용은 별도의 기사에서 읽을 수 있습니다. 

Langchain 플랫폼에는 개발자가 애플리케이션에 포함시킬 수있는 API 모음이 제공되어 언어 처리 기능을 기반으로 구축하지 않고도 언어 처리 기능을 주입 할 수 있습니다. 따라서 Langchain은 LLM 기반 애플리케이션을 제작하는 프로세스를 효율적으로 단순화하여 전문 지식 전반에 걸쳐 개발자에게 적합합니다. 챗봇, 가상 어시스턴트, 언어 번역 유틸리티 및 감정 분석 도구와 같은 응용 프로그램은 모두 LLM 구동 앱의 사례입니다. 개발자는 Langchain을 활용하여 특정 요구를 충족시키는 맞춤형 언어 모델 기반 응용 프로그램을 만듭니다. 자연 언어 처리의 지속적인 발전과 광범위한 채택 으로이 기술의 잠재적 응용은 사실상 무한할 것으로 예상됩니다. 다음은 Langchain의 몇 가지 주목할만한 특성입니다

1. 특정 요구 사항을 충족시키기위한 맞춤형 프롬프트

2. 고급 사용 시나리오를위한 체인 링크 구성 요소 구성

3. 데이터 확대를위한 모델 통합 및 GPT 및 Huggingface Hub와 같은 최고 수준의 언어 모델 기능에 액세스

4. 특정 요구 사항에 대한 믹싱 및 매칭을 허용하는 다목적 구성 요소

5. 정밀도 및 사용자 만족도를 높이기위한 컨텍스트를 설정하고 안내하기위한 컨텍스트 조작

python 에 langchain을 설정합니다 Python에 Langchain을 설치하는 것은 매우 간단합니다. PIP 또는 Conda로 설치할 수 있습니다 PIP 를 사용하여 설치하십시오

conda 를 사용하여 설치하십시오

이것은 랑케인의 기본 필수품을 설정합니다. Langchain의 유용성의 대부분은 다양한 모델 제공 업체, 데이터 저장소 등과 통합 될 때 실현됩니다. 기본적으로 이러한 통합에 필요한 종속성은 설치에 포함되지 않습니다. 모든 종속성을 설치하려면 다음 명령을 실행할 수 있습니다.

최종 옵션은 소스에서 라이브러리를 빌드하는 것입니다. 이 경우 Github Repo에서 프로젝트를 복제 할 수 있습니다. 환경 설정 Langchain 사용하려면 일반적으로 다양한 모델 제공 업체, 데이터 스토어, API 및 유사한 구성 요소와의 통합이 필요합니다. 모든 통합과 마찬가지로 Langchain이 작동 할 적절하고 관련 API 키를 제공해야합니다. 이를 달성하는 두 가지 방법이 있습니다 :

1. 키를 환경 변수로 설정

환경 변수를 설정하지 않으려면 OpenAI LLM 클래스를 시작할 때 OpenAI_API_Key를 통해 직접 키를 전달할 수 있습니다. <h2> 2. 관련 클래스에서 키를 직접 설정하십시오<pre class="brush:php;toolbar:false">pip install langchain Langchain의 핵심 구성 요소 Langchain은 유연성과 모듈성에 대한 강조로 인해 두드러집니다. 자연어 처리 파이프 라인을 별도의 구성 요소로 분해하여 개발자가 필요에 따라 워크 플로우를 조정할 수 있습니다. 이 적응성은 Langchain이 다양한 시나리오 및 부문에서 AI 응용 프로그램을 구성하는 데 이상적입니다. 구성 요소 및 체인 Langchain에서 구성 요소는 언어 처리 파이프 라인에서 특정 기능을 수행하는 모듈입니다. 이러한 구성 요소는 감정 분석, 의도 인식 및 응답 생성 모듈이있는 고객 서비스 챗봇 체인과 같은 맞춤형 워크 플로의 "체인"에 연결할 수 있습니다. 프롬프트 템플릿 프롬프트 템플릿은 체인을 가로 질러 사전 정의 된 프롬프트입니다. 이 템플릿은 특정 "값"을 삽입하여 역동적이고 적응할 수 있습니다. 예를 들어, 특정 값을 삽입하여 사용자 이름을 요청하는 프롬프트는 개인화 할 수 있습니다. 이 기능은 동적 리소스를 기반으로 프롬프트를 생성하는 데 유리합니다. 벡터 저장 이들은 포함을 통해 정보를 저장하고 검색하는 데 사용되며, 본질적으로 문서 의미의 수치 표현을 분석합니다. VectorStore는 이러한 임베딩을위한 저장 시설 역할을하여 의미 론적 유사성을 기반으로 효율적인 검색을 허용합니다. 인덱스 및 리트리버 인덱스는 모델의 교육 데이터에 대한 세부 사항 및 메타 데이터를 저장하는 데이터베이스 역할을하는 반면, 리트리버는이 인덱스에 특정 정보를 신속하게 검색합니다. 이것은 컨텍스트 및 관련 정보를 제공하여 모델의 응답을 향상시킵니다.

출력 파서 출력 파서는 모델에서 생성 된 응답을 관리하고 개선하기 위해 작용합니다. 바람직하지 않은 컨텐츠를 제거하거나 출력 형식을 조정하거나 추가 데이터를 응답에 보충 할 수 있습니다. 따라서 출력 파서는 언어 모델의 응답에서 JSON 객체와 같은 구조화 된 결과를 추출하는 데 도움이됩니다. 예제 선수 Langchain의 예제 선택기는 모델의 교육 데이터에서 적절한 사례를 식별하여 생성 된 응답의 정밀성과 관련성을 향상시키는 역할을합니다. 이 선택기는 특정 유형의 예제를 선호하도록 조정하거나 관련없는 예제를 필터링하여 사용자 입력을 기반으로 맞춤형 AI 응답을 제공합니다.

에이전트 에이전트는 고유 한 랭케 인스턴스이며, 각각 특정 유스 케이스에 대한 특정 프롬프트, 메모리 및 체인이 있습니다. 웹, 모바일 및 챗봇을 포함한 다양한 플랫폼에 배포 될 수 있으며 광범위한 잠재 고객을 수용 할 수 있습니다.

Langchain에서 언어 모델 애플리케이션을 구축하는 방법 Langchain은 Openai, Cohere 및 Hugging Face와 같은 다양한 언어 모델 제공 업체와 인터페이스하도록 설계된 LLM 클래스를 제공합니다. LLM의 가장 기본적인 기능은 텍스트를 생성하는 것입니다. 문자열 프롬프트를 취하고 출력을 반환하는 Langchain으로 응용 프로그램을 작성하는 것은 매우 간단합니다.

pip install langchain

출력 : & gt; & gt; & gt; "데이터를 땜질 할 때 무엇을 얻습니까? 데이터 과학자!"

위의 예에서는 OpenAi의 Text-ADA-001 모델을 사용하고 있습니다. Huggingface의 오픈 소스 모델에 대해이를 바꾸고 싶다면 간단한 변화입니다.

HF 계정에서 Hugging Face Hub 토큰 ID를 얻을 수 있습니다. 여러 프롬프트가있는 경우 생성 메소드를 사용하여 한 번에 프롬프트 목록을 보낼 수 있습니다. 출력

:

이것은 Langchain을 사용하여 만들 수있는 가장 간단한 앱입니다. 프롬프트가 필요하고 선택한 언어 모델로 보내고 답을 반환합니다. '온도'와 같이 제어 할 수있는 많은 매개 변수가 있습니다. 온도 매개 변수는 출력의 임의성을 조정하고 기본적으로 0.7로 설정됩니다. langchain에서 LLMS의 프롬프트 템플릿 관리 install langchain -c conda-forge llms에는 독특한 API가 있습니다. 자연어로의 입력 프롬프트가 직관적으로 보일 수 있지만 실제로 LLM에서 원하는 출력을 달성하기 위해 프롬프트를 약간 조정해야합니다. 이 조정 프로세스는 프롬프트 엔지니어링이라고합니다. 좋은 프롬프트가 있으면 다른 목적으로 템플릿으로 사용하는 것이 좋습니다. Langchain의 PromptTemplate을 사용하면 템플릿을 사용하여 프롬프트를 생성 할 수 있습니다. 이것은 여러 장소에서 동일한 프롬프트 개요를 사용하려고하지만 특정 값이 변경 될 때 유용합니다.

출력

: 1. 에펠 탑을 오르고 도시의 숨막히는 전망을 취하십시오.

2. 강 세인 강을 따라 낭만적 인 크루즈를 즐기고 강둑을 따라 아름다운 건축물을 존경합니다

pip install langchain[all]

3. 루브르를 탐험하고 세계적으로 유명한 예술 작품에 감탄하십시오. 이제 다른 도시 의이 프롬프트를 재사용하려면 user_input 변수 만 변경하면됩니다. 나는 이제 파리에서 멕시코 칸쿤으로 변경했습니다. 출력이 어떻게 바뀌 었는지 확인하십시오 :

출력 : 1. 해변에서 휴식을 취하십시오 : 카리브해의 하얀 모래 해변과 크리스탈 바닷물을 즐기십시오.

2. 마야 유적을 탐구하십시오 : Chichen Itza, Tulum 및 Coba와 같은 고대 고고학 유적지를 방문하여 마야의 역사와 문화에 대해 배우십시오. 3. 음식 투어를 즐기십시오 : 전통적인 맛을 맛보고 칸쿤의 음식 투어를 통해 현지 요리에 대해 배우십시오. 다단계 워크 플로우에서 LLM과 프롬프트 결합 Langchain 컨텍스트 내에서의 체인은 LLM을 다른 요소와 통합하여 응용 프로그램을 구축하는 행위를 말합니다. 몇 가지 예는 다음과 같습니다

첫 번째 LLM의 출력을 두 번째 LLM의 입력으로 사용하여 여러 LLM을 순차적으로 결합합니다 (이 섹션 참조) 프롬프트 템플릿과 LLM을 통합하는 LLMS를 외부 데이터와 병합하는 것과 같은 질문 답변 채팅 이력
• 와 같은 장기 메모리와 LLM을 통합합니다
첫 번째 LLM의 출력을 두 번째 LLM에 대한 입력으로 사용할 첫 번째 시나리오의 예를 보자.
출력
• :

이 특정 예에서는 두 가지 구성 요소가있는 체인을 만듭니다. 첫 번째 구성 요소는 특정 국가에 해당하는 가장 인기있는 도시를 사용자의 입력으로 식별 할 책임이 있습니다. 대조적으로, 두 번째 구성 요소는 특정 도시를 방문하는 관광객이 이용할 수있는 상위 3 가지 활동 또는 관광 명소에 대한 정보를 제공하는 데 중점을 둡니다. Langchain에 응용 프로그램을 구축하는 고급 개념을 배우려면 Langchain 및 GPT를 사용하여 AI 애플리케이션을 구축하는이 라이브 코스를 확인하십시오. 결론 및 추가 학습 단지 얼마 전, 우리는 Chatgpt의 인상적인 능력에 크게 깊은 인상을 받았습니다. 그러나이 풍경은 급격히 진화했으며 이제 우리는 Langchain과 같은 새로운 개발자 도구에 액세스하여 몇 시간 만에 개인 노트북에 비슷한 놀라운 프로토 타입을 만들 수 있습니다. 오픈 소스 Python 프레임 워크 인 Langchain은 개인이 LLM (Language Model Models)으로 구동되는 응용 프로그램을 만들 수 있도록합니다. 이 프레임 워크는 수많은 기초 모델에 대한 다양한 인터페이스를 제공하여 프롬프트 관리를 용이하게하고 프롬프트 템플릿, 추가 LLM, 외부 데이터 및 기타 도구 (서면 시점)와 같은 다른 구성 요소의 중앙 허브 역할을합니다. 생성 AI 및 LLM의 모든 진보를 따라 잡으려고한다면 Langchain 및 GPT 웹 세미나를 사용하여 Building AI 응용 프로그램을 확인하십시오. 여기서 Langchain을 사용하여 AI 응용 프로그램을 개발하는 기본 사항과 AI 응용 프로그램을 구성하는 방법 및 고성능을 위해 텍스트 데이터를 포함시키는 방법을 배웁니다. 생성 AI 도구 환경에서 치트 시트를보고 다양한 범주의 생성 AI 도구, 응용 프로그램 및 다양한 부문에서의 영향을 탐색 할 수 있습니다. 마지막으로, 다른 강력한 도구에 대해 알아 보려면 최상위 오픈 소스 LLM의 목록을 확인하십시오. 최고 AI 인증

pip install langchain

ai.get 인증을 효과적이고 책임감있게 사용할 수 있음을 보여줍니다.

위 내용은 Langchain 튜토리얼로 LLM 응용 프로그램을 구축하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!