OpenAI API & Pinecone을 사용하여 챗봇을 만드는 방법

llm 챗봇 : 검색 증강 생성 (RAG)과 대화하는 AI 혁신 Chatgpt의 2022 년 11 월 출시 이후, LLM (Lange Language Model) 챗봇은 유비쿼터스가되어 다양한 응용 프로그램을 변화 시켰습니다. 챗봇의 개념은 새로운 것이 아니지만, 오래된 오래된 챗봇은 지나치게 복잡하고 실망 스러웠습니다. 이 블로그는 LLM의 힘, 검색 증강 생성 (RAG) 기술 및 OpenAI의 GPT API 및 Pinecone을 사용하여 자신의 챗봇을 구축하는 방법을 탐구합니다. 이 안내서는 다음과 같습니다

검색 증강 생성 (rag) 큰 언어 모델 (llms) OpenAi gpt 및 기타 API 사용 벡터 데이터베이스 및 그 필요성

파이썬에서 Pinecone과 Openai가있는 챗봇 만들기

더 깊은 다이빙의 경우, 벡터 데이터베이스에 대한 코스를 탐색하고 Pinecone과 Code-Antong on OpenAi API 및 Pinecone .

큰 언어 모델 (llms)
이미지 소스
• GPT-4와 같은 llms는 인간 언어를 이해하고 생성하기 위해 딥 러닝 (특히 변압기 아키텍처)을 사용하는 정교한 기계 학습 알고리즘입니다. 대규모 데이터 세트 (다양한 온라인 소스의 수조 단어)에 대한 교육을받은 복잡한 언어 작업을 처리합니다. 창의적 작문에서 기술 문서에 이르기까지 다양한 스타일과 형식으로 텍스트 생성에서 XLLM이 뛰어납니다. 그들의 기능은 요약, 대화 AI 및 언어 번역이 포함되며, 종종 미묘한 언어 기능을 캡처합니다. 그러나 LLM에는 제한이 있습니다. "환각" - 그럴듯하지만 부정확 한 정보를 창출하고 훈련 데이터의 편견은 중요한 과제입니다. LLM은 주요 AI 발전을 나타내지 만, 신중한 관리는 위험을 완화하는 데 중요합니다.
검색 증강 생성 (rag)
이미지 소스
• 헝겊 과정 (단순화) (세부 래그 튜토리얼은 별도로 사용할 수 있습니다.)
  1. 데이터 준비 : 외부 데이터 (예 : 현재 연구, 뉴스)가 준비되어 LLM에서 사용할 수있는 형식 (임베딩)으로 변환됩니다. 임베딩 스토리지 : 임베딩은 벡터 데이터베이스 (Pinecone과 같은)에 저장되어 효율적인 벡터 데이터 검색에 최적화됩니다. 정보 검색 : 사용자의 쿼리 (벡터로 변환)를 사용한 의미 검색은 데이터베이스에서 가장 관련성이 높은 정보를 검색합니다. 프롬프트 증강 : 검색된 데이터와 사용자 쿼리는 LLM 프롬프트를 늘려서보다 정확한 응답을 초래합니다. 데이터 업데이트 :
  외부 데이터가 정기적으로 업데이트되어 정확도를 유지합니다.
  2. 벡터 데이터베이스 이미지 소스
  벡터 데이터베이스는 고차원 벡터 (수학적 데이터 표현)를 관리합니다. 벡터 거리를 기반으로 유사성 검색에서 탁월하여 의미 쿼리가 가능합니다. 응용 프로그램에는 유사한 이미지, 문서 또는 제품 찾기가 포함됩니다. Pinecone은 인기 있고 효율적이며 사용자 친화적 인 예입니다. 고급 인덱싱 기술은 RAG 응용 프로그램에 이상적입니다 Openai API
  3. OpenAi의 API는 GPT, Dall-E 및 Whisper와 같은 모델에 대한 액세스를 제공합니다. HTTP 요청을 통해 액세스 할 수 있거나 (또는 ​​Python의 라이브러리로 단순화) 다양한 프로그래밍 언어로 쉽게 통합됩니다. 파이썬 예 : langchain (프레임 워크 개요) Langchain은 LLM 애플리케이션 개발을 단순화합니다. 강력하지만 여전히 활발한 개발 중이므로 API 변경이 가능합니다.
  ​​엔드 투 엔드 파이썬 예 : LLM 챗봇 구축
  4. 이 섹션에서는 OpenAi GPT-4 및 Pinecone을 사용하여 챗봇을 구축합니다. (참고 :이 코드의 대부분은 공식 Pinecone Langchain 안내서에서 수정되었습니다.)

     1. Openai 및 Pinecone 설정 : API 키를 얻습니다

     2. 라이브러리 설치 : PIP를 사용하여 ,

     , langchain, langchain-community, openai 및 tiktoken를 설치하십시오. pinecone-client 3. 샘플 데이터 세트 : 사전에 매달린 데이터 세트를로드하십시오 (예를 들어, pinecone-datasets). 더 빠른 처리를 위해서는 서브 세트 샘플링이 권장됩니다.)

     4. PENECONE 인덱스 설정 : PENECONE Index를 만듭니다 (이 예에서는

     ). wikipedia-simple-text-embedding-ada-002-100K 5. 데이터 삽입 : 샘플링 된 데이터를 Pinecone 인덱스로 향상시킵니다. pinecone-datasets

     6. Langchain Integration : Pinecone Index 및 Openai Embeddings를 사용하여 Langchain 벡터 저장소 초기화.

     7. 쿼리 : 벡터 스토어를 사용하여 유사성 검색을 수행하십시오 langchain-retrieval-augmentation-fast 8. LLM 통합 : LLM을 벡터 저장소와 통합하려면 및 (또는 )를 사용하십시오.

     결론 이 블로그는 신뢰할 수 있고 관련 LLM 구동 챗봇을 구축하기위한 Rag의 힘을 보여주었습니다. LLM, 벡터 데이터베이스 (Pinecone) 및 Langchain과 같은 프레임 워크의 조합은 개발자가 정교한 대화 AI 애플리케이션을 만들 수 있도록합니다. 우리의 과정은이 분야에서 추가 학습 기회를 제공합니다.

위 내용은 OpenAI API & Pinecone을 사용하여 챗봇을 만드는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!