에지 장치에서 자체 호스팅 래그 응용 프로그램

라즈베리 파이에 강력한 AI 문서 프로세서 배포 : 단계별 가이드

이 기사에서는 Raspberry Pi를 지능형 문서 처리를위한 강력한 도구로 변환하여 Advanced AI의 힘을 활용하는 과정에 대해 자세히 설명합니다. 문서 수집 및 질문 응답 (QNA) 작업을 처리 할 수있는 시스템의 설정, 소프트웨어 설치 및 개발을 다룰 것입니다. 작은 장치조차도 올바른 접근 방식으로 인상적인 결과를 얻을 수 있습니다.

학습 목표 :

• 헤드리스 작업을 위해 Raspberry Pi를 구성하십시오.
• Ollama와 같은 종속성을 설치하고 관리합니다.
• PDF 문서를로드 및 처리하기위한 시스템을 개발하십시오.
• 응답 쿼리를위한 검색 된 세대 생성 (RAG) 파이프 라인을 구축하십시오.
• 테스트 응용 프로그램 기능.
• FastApi를 사용하여 응용 프로그램을 배포하고 Reflex로 사용자 인터페이스를 만듭니다.

(이 기사는 데이터 과학 블로그의 일부입니다.)

목차 :

• 소개
• 라즈베리 파이 설정
• 응용 프로그램 개발
  • 1 단계 : 환경 구성
  • 2 단계 : config.py 작성
  • 3 단계 : 섭취 클래스
  • 4 단계 : PDFLoader 클래스
  • 5 단계 : QNA 파이프 라인
  • 6 단계 : 래그 체인 쿼리
• 결론
• 자주 묻는 질문

라즈베리 파이 설정 :

Raspberry Pi의 운영 체제를 설정하여 시작하십시오. 이 예제에는 Ubuntu Server 24.04를 사용하지만 다른 배포판이 가능합니다. MicroSD 카드 (최소 16GB)가 필요합니다.

SD 카드 플래시 :

1. Raspberry Pi Imager를 다운로드하여 설치하십시오.
2. SD 카드를 선택하고 운영 체제로 Ubuntu Server 24.04를 선택하십시오.
3. SSH를 통해 헤드리스 작업을 구성하여 사용자 이름과 비밀번호를 제공합니다. 부팅시 자동 네트워크 연결을 위해 Wi-Fi 자격 증명을 추가하십시오.
4. 서비스 탭에서 SSH를 활성화합니다.
5. SD 카드에 이미지를 작성하십시오.

부팅 후 IP 주소를 사용하여 SSH를 통해 Raspberry Pi에 연결하십시오 (Fing과 같은 도구를 사용하여 찾으십시오) :

 ssh [username]@[IP 주소]

패키지 업데이트 :

시스템 패키지 업데이트 :

 Sudo 적절한 업데이트
Sudo 적절한 업그레이드

Ollama 설치 :

 curl -fssl https://ollama.com/install.sh | 쉿

(오류가 발생하면 Curl을 먼저 설치하십시오 : sudo apt install curl )

필요한 모델 다운로드 :

 Ollama Pull Phi3
Ollama는 nomic-embed-text를 끌어 당깁니다

응용 프로그램 개발 :

이제 헝겊 응용 프로그램을 구축합시다.

1 단계 : 환경 설정 :

가상 환경을 만들고 필요한 파이썬 패키지 (원본 기사에 나열)를 설치하십시오.

2 단계 : config.py 만들기 :

다음과 함께 config.py 파일을 만듭니다.

 language_model_name = "phi3"
embeddings_model_name = "nomic-embed-text"
Ollama_url = "http : // localhost : 11434"

(3-6 단계 섭취 클래스, pdfloader, QNA 파이프 라인 및 agg 체인 쿼리에 대한 자세한 내용은 원본 기사에 제공되며 여기에서 재현하기에는 너무 광범위합니다. 코드 스 니펫의 원본을 참조하십시오.)

결론:

이 안내서는 기능성 래그 애플리케이션을위한 Raspberry Pi를 설정하는 것을 보여줍니다. 다음 단계에는 응용 프로그램을 Fastapi로 포장하고 Reflex를 사용하여 사용자 인터페이스를 구축하는 것이 포함됩니다.

주요 테이크 아웃 :

• RAG 애플리케이션을위한 Raspberry Pi 구성.
• 의존성 관리 (Ollama).
• PDF 문서 수집 및 처리.
• 헝겊 파이프 라인 구현.
• 응용 프로그램 테스트 및 배포 준비.

자주 묻는 질문 :

(원래 기사의 FAQ도 여기에서 재현하기에는 너무 광범위합니다. 답변은 원본을 참조하십시오.)

(참고 : 이미지 URL은 변경되지 않았습니다.)

위 내용은 에지 장치에서 자체 호스팅 래그 응용 프로그램의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!