llamaindex : LLMS (Lange Language Models) 기반 애플리케이션을위한 데이터 프레임 워크

데이터 쿼리를위한 간단한 자연어 방법을 찾고 있든, 깊은 사용자 정의가 필요한 고급 사용자이든 Llamaindex에는 해당 도구가 있습니다. Advanced API를 사용하면 5 가지 요소 코드만으로 시작할 수 있으며 저수준 API를 사용하면 데이터 수집, 인덱싱, 검색 등을 완전히 제어 할 수 있습니다. llamaindex는 어떻게 작동합니까

사진은 고급 개념

에서 나온 것입니다

인덱스 단계

인덱싱 단계에서 Llamaindex는 개인 데이터를 벡터 인덱스에 효율적으로 인덱싱합니다. 이 단계는 해당 분야에 맞는 검색 가능한 지식 기반을 만드는 데 도움이됩니다. 텍스트 문서, 데이터베이스 레코드, 지식 그래프 및 기타 데이터 유형을 입력 할 수 있습니다.

본질적으로 인덱스는 데이터를 숫자 벡터로 변환하거나 의미 론적 의미를 포착합니다. 컨텐츠에서 유사성을 빠르게 검색 할 수 있습니다.

쿼리 스테이지 쿼리 단계에서 RAG 파이프 라인은 사용자의 쿼리를 기반으로 가장 관련성이 높은 정보를 검색합니다. 그런 다음이 정보는 정확한 응답을 만들기 위해 쿼리와 함께 LLM에 제공됩니다.

이 절차를 통해 LLM은 초기 교육에 포함되지 않을 수있는 현재 및 업데이트 된 정보에 액세스 할 수 있습니다. 이 단계의 주요 과제는 존재할 수있는 여러 지식 기반의 정보에 대한 정보에 대한 검색, 구성 및 이유입니다.

PENECONE 검색 강화 생성 코드 샘플에서 RAG에 대해 자세히 알아보십시오.

llamaindex의 설정 우리는 단순히 PIP를 사용하여 llamaindex를 설치할 수 있습니다.

기본적으로 Llamaindex는 OpenAi GPT-3 Text-Davinci -003 모델을 사용합니다. 이 모델을 사용하려면 OpenAI_API_Key를 설정해야합니다. OpenAI의 새로운 API 토큰에 로그인하여 무료 계정을 생성하고 API 키를 얻을 수 있습니다.

<code>pip install llama-index</code>

또한 OpenAI 패키지를 설치했는지 확인하십시오.

llamaindex <code>import os os.environ["OPENAI_API_KEY"] = "INSERT OPENAI KEY"</code>를 사용하여 LLM에 개인 데이터를 추가하십시오 이 섹션에서는 llamaindex를 사용하여 이력서 리더를 만드는 방법을 배웁니다. LinkedIn 프로필 페이지를 방문하고 "more"를 클릭 한 다음 "PDF로 저장"하여 이력서를 다운로드 할 수 있습니다.

우리는 Datalab을 사용하여 Python 코드를 실행합니다. llamaindex에서 모든 관련 코드 및 출력에 액세스 할 수 있습니다. LLM 통합 문서에 개인 데이터를 추가 할 수 있습니다.

우리는 무엇이든 실행하기 전에 llama-index, openai 및 pypdf를 설치해야합니다. PDF 파일을 읽고 변환 할 수 있도록 PYPDF를 설치합니다.

데이터를로드하고 인덱스를 작성하십시오 우리는 하나의 pdf 파일 만 포함하는 "private-data"라는 디렉토리가 있습니다. SimpledirectoryReader를 사용하여 읽은 다음 TreeIndex를 사용하여 색인으로 변환합니다.

실행 쿼리 데이터가 색인화되면 as_query_engine ()을 사용하여 질문을 시작할 수 있습니다. 이 기능을 사용하면 문서의 특정 정보에 대한 질문을하고 OpenAI GPT-3 Text-Davinci -003 모델의 도움으로 해당 응답을 얻을 수 있습니다.

참고 : Python 튜토리얼의 OpenAI API를 통해 GPT-3.5 및 GPT-4를 사용하는 지침에 따라 Datalab에서 OpenAI API를 설정할 수 있습니다.

우리가 볼 수 있듯이 LLM 모델은 쿼리에 정확하게 답변합니다. 색인을 검색하고 관련 정보를 찾았습니다.

<code>pip install openai</code>

우리는 인증 정보를 추가로 요청할 수 있습니다. Llamaindex는 후보자를 완전히 이해 한 것으로 보이며, 이는 특정 인재를 찾는 회사에 유익 할 수 있습니다.

<code>%pip install llama-index openai pypdf</code>

컨텍스트를 저장하고로드하십시오 인덱스 생성은 시간이 많이 걸리는 프로세스입니다. 우리는 컨텍스트를 저장하여 색인을 재현하지 않을 수 있습니다. 기본적으로 다음 명령은 ./storage 디렉토리에 저장된 인덱스 저장소를 저장합니다.

우리가 완료되면 스토리지 컨텍스트를 빠르게로드하고 인덱스를 만들 수 있습니다.

제대로 작동하는지 확인하려면 이력서에서 쿼리 엔진 질문을 요청합니다. 우리는 컨텍스트를 성공적으로로드 한 것 같습니다.

<code>from llama_index import TreeIndex, SimpleDirectoryReader

resume = SimpleDirectoryReader("Private-Data").load_data()
new_index = TreeIndex.from_documents(resume)</code>

chatbot Q & A 외에도 llamaindex를 사용하여 개인 챗봇을 만들 수도 있습니다. 인덱스를 초기화하려면 as_chat_engine () 함수를 사용하면됩니다.

<code>query_engine = new_index.as_query_engine()
response = query_engine.query("When did Abid graduated?")
print(response)</code>

우리는 간단한 질문을 할 것입니다.

<code>Abid graduated in February 2014.</code>

추가 컨텍스트를 제공하지 않으면 후속 질문을 할 것입니다.

<code>response = query_engine.query("What is the name of certification that Abid received?")
print(response)</code>

채팅 엔진이 완벽하게 작동한다는 것은 분명합니다.

언어 응용 프로그램을 구축 한 후 타임 라인의 다음 단계는 클라우드에서 LLM (Lange Language Model) 사용의 장단점과 로컬로 실행하는 것입니다. 이렇게하면 귀하의 요구에 가장 적합한 접근 방식을 결정하는 데 도움이됩니다.

llamaindex 와 함께 Wikitext를 언급하십시오 다음 프로젝트에는 Wikipedia의 질문에 응답하고 음성으로 변환 할 수있는 응용 프로그램을 개발하는 것이 포함됩니다.

코드 소스 및 추가 정보는 Datalab 통합 문서에서 찾을 수 있습니다.

웹 사이트 크롤링 위키 백과 페이지 먼저, 이탈리아-위키 백과 웹 페이지의 데이터를 크롤링하고 데이터 폴더의 aitaly_text.txt 파일로 저장합니다.

데이터로드 및 빌드 인덱스 다음으로 필요한 패키지를 설치해야합니다. elevenlabs 패키지를 사용하면 API를 사용하여 텍스트를 음성으로 쉽게 변환 할 수 있습니다.

SimpledirectoryReader를 사용하여 데이터를로드하고 TXT 파일을 VectorStoreIndex를 사용하여 벡터 스토어로 변환합니다.

<code>pip install llama-index</code>

query 우리의 계획은 국가에 대한 일반적인 질문을하고 llm query_engine으로부터 응답을 얻는 것입니다.

텍스트로 음성

<code>import os

os.environ["OPENAI_API_KEY"] = "INSERT OPENAI KEY"</code>

우리는 자연스러운 음성을 생성하기 위해 generate_audio 함수에 응답을 추가합니다. 오디오를 들으려면 ipython.display의 오디오 기능을 사용합니다.

<code>pip install openai</code>

이것은 간단한 예입니다. 여러 모듈을 사용하여 개인 데이터를 해석하여 질문에 답변하는 Siri와 같은 비서를 만들 수 있습니다. 자세한 내용은 llamaindex 문서를 참조하십시오.

Langchain을 사용하면 Llamaindex 외에도 LLM 기반 애플리케이션을 구축 할 수 있습니다. 또한 Langchain이 해결하는 문제 및 데이터 사용 사례 예제를 포함하여 Langchain으로 수행 할 수있는 작업에 대한 개요를 데이터 엔지니어링 및 데이터 애플리케이션으로 시작하는 Langchain을 읽을 수 있습니다.

<code>%pip install llama-index openai pypdf</code> 하나 이상의 플러그인 데이터 로더를 사용하여 사용자 정의 데이터 소스를 LLM에 연결할 수 있습니다.

Llama Hub의 데이터 로더

에이전트 도구를 사용하여 타사 도구와 API를 통합 할 수도 있습니다.

Llama Hub의 Agistrator 도구

간단히 말해서 llamaindex : 로 빌드 할 수 있습니다

문서 기반 q & a

chatbot 대행사 구조화 된 데이터 전체 스택 웹 애플리케이션 개인 설정 이러한 사용 사례에 대해 자세히 알아 보려면 Llamaindex 문서를 방문하십시오.

결론 이 튜토리얼에서는 Llamaindex와 그 작업 원칙에 대해 배웠습니다. 또한 몇 줄의 Python 코드를 사용하여 이력서 리더 및 텍스트 음주 프로젝트를 구축했습니다. llamaindex로 LLM 애플리케이션을 작성하는 것은 매우 간단하며 막대한 플러그인, 데이터 로더 및 에이전트 라이브러리를 제공합니다. 전문가 LLM 개발자가 되려면 다음 단계는 큰 언어 모델 개념 마스터 코스를 수강하는 것입니다. 이 과정은 응용 프로그램, 교육 방법, 윤리적 고려 사항 및 최신 연구를 포함하여 LLM에 대한 포괄적 인 이해를 제공합니다.

위 내용은 llamaindex : LLMS (Lange Language Models) 기반 애플리케이션을위한 데이터 프레임 워크의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!