llamaindex를 사용한 멀티 모달 재무 보고서 생성

많은 실제 응용 프로그램에서 데이터는 순전히 텍스트가 아닙니다. 이미지, 테이블 및 이야기를 강화하는 데 도움이되는 차트가 포함될 수 있습니다. 멀티 모달 보고서 생성기를 사용하면 텍스트와 이미지를 최종 출력에 통합하여 보고서를보다 역동적이고 시각적으로 풍부하게 만듭니다. 이 기사는 다음을 사용하여 이러한 파이프 라인을 구축하는 방법을 간략하게 설명합니다.

문서 구문 분석 및 쿼리 엔진을 조정하려면 llamaindex

Openai

텍스트 분석을위한 언어 모델, PDF 문서에서 텍스트와 이미지를 모두 추출하려면 로깅 및 디버깅을 위해 Arrize Phoenix (Llamatrace를 통해) 를 사용한 관찰 가능성 설정.

최종 결과는 전체 PDF 슬라이드 데크 (텍스트 및 비주얼)를 처리 할 수있는 파이프 라인입니다. 텍스트와 이미지가 모두 포함 된 구조화 된 보고서를 생성합니다. 학습 목표
• 멀티 모달 파이프 라인을 사용하여 효과적인 재무 보고서 생성을 위해 텍스트 및 비주얼을 통합하는 방법을 이해하십시오. 구조화 된 출력으로 향상된 재무 보고서 생성을 위해 llamaindex와 llamaparse를 활용하는 법을 배우십시오. PDF 문서에서 텍스트와 이미지를 효과적으로 추출하려면 llamaparse를 탐색하십시오. 복잡한 파이프 라인을 기록하고 디버깅하기 위해 Arrize Phoenix (Llamatrace를 통해)를 사용하여 관찰 가능성을 설정하십시오. 구조화 된 쿼리 엔진을 생성하여 시각적 요소와 텍스트 요약을 인터 리브하는 보고서를 생성합니다.
이 기사는 데이터 과학 블로그 톤의 의 일부로 출판되었습니다. 목차
• 프로세스의 개요
• 단계별 구현
2 단계 : 3 단계 : 데이터 3 :

Llamaparse로 문서를 구문 분석 : 6 단계 : 6 단계 : 텍스트와 이미지를 준수 7 단계 : 요약 색인 구축

8 단계 : 구조적 출력 스키마 정의

9 단계 : 구조적 쿼리 결론을 프로세스의 개요 멀티 모달 보고서 생성기를 구축하려면 PDF와 같은 복잡한 문서의 텍스트 및 시각적 요소를 완벽하게 통합하는 파이프 라인을 작성해야합니다. 이 과정은 문서 구문 분석 및 쿼리 오케스트레이션 용 Llamaindex와 같은 필요한 라이브러리를 설치하는 것으로 시작합니다. Arrize Phoenix (Llamatrace를 통해)를 사용하여 관찰 가능성이 확립되어 파이프 라인을 모니터링하고 디버깅합니다. 일단 설정이 완료되면 파이프 라인은 PDF 문서를 처리하고 컨텐츠를 구조화 된 텍스트로 구문 분석하고 테이블 및 차트와 같은 시각적 요소를 렌더링합니다. 그런 다음 이러한 구문 분석 된 요소는 연관되어 통합 데이터 세트를 만듭니다. SummaryIndex는 높은 수준의 통찰력을 가능하게하기 위해 구축되었으며, 구조화 된 쿼리 엔진은 텍스트 분석과 관련 비주얼과 혼합 된 보고서를 생성하기 위해 개발되었습니다. 결과는 정적 문서를 사용자 쿼리에 맞게 조정 된 풍부한 멀티 모달 출력으로 변환하는 동적 및 대화식 보고서 생성기입니다. 단계별 구현 이 자세한 안내서를 따라 종속성 설정에서 통합 텍스트 및 이미지로 구조화 된 출력 생성에 이르기까지 멀티 모달 보고서 생성기를 구축하십시오. 각 단계는 효율적이고 역동적 인 파이프 라인을 위해 llamaindex, llamaparse 및 phoenix의 원활한 통합을 보장합니다. 1 단계 : 의존성 설치 및 가져 오기 Python 3.9.9에서 실행되는 다음 라이브러리가 필요합니다.

llama-index

llama-parse (텍스트 이미지 구문 분석 용) llama-index-callbacks-arrize-phoenix (관찰 가능성/로깅) nest_asyncio (노트북에서 비동기 이벤트 루프를 처리하기 위해)

2 단계 : 관찰 가능성 설정 우리는 llamatrace - llamacloud API (Arrize Phoenix)와 통합됩니다. 먼저 llamatrace.com에서 API 키를 얻은 다음 환경 변수를 설정하여 Phoenix에 흔적을 보냅니다.

예를 들어 :

3 단계 : 데이터로드 - 슬라이드 데크를 얻으려면
• 데모를 위해 ConocoPhillips의 2023 년 투자자 회의 슬라이드 데크를 사용합니다. 우리는 pdf : 를 다운로드합니다

  PDF 슬라이드 데크가 데이터 폴더에 있는지 확인하십시오. 데이터 폴더에 배치하지 않으면 원하는대로 이름을 지정하십시오. 4 단계 : 모델 설정 임베딩 모델과 LLM이 필요합니다. 이 예에서는 다음과 같습니다.

다음으로
• 5 단계 : llamaparse로 문서를 구문 분석하십시오 Markdown 텍스트 (테이블, 제목, 총알 포인트 등) A 렌더링 된 이미지
(로컬로 저장)

!pip install -U llama-index-callbacks-arize-phoenix

import nest_asyncio

nest_asyncio.apply()

!pip install -U llama-index-callbacks-arize-phoenix

import nest_asyncio

nest_asyncio.apply()

6 단계 : 텍스트와 이미지를 연결합니다 우리는 각 페이지에 대해

textnode

객체 (llamaindex의 데이터 구조) 목록을 만듭니다. 각 노드에는 페이지 번호와 해당 이미지 파일 경로에 대한 메타 데이터가 있습니다.

7 단계 : 요약 인덱스 구축 이 텍스트 노드를 손에 들면 SummaryIndex를 만들 수 있습니다. > SummaryIndex는 전체 문서에서 높은 수준의 요약을 쉽게 검색하거나 생성 할 수 있도록합니다. 8 단계 : 구조화 된 출력 스키마를 정의합니다 당사 파이프 라인은 인터리브 된 텍스트 블록 및 이미지 블록으로 최종 출력을 생성하는 것을 목표로합니다. 이를 위해, 우리는 두 가지 블록 유형의 사용자 정의 Pydantic 모델 (Pydantic v2 사용 또는 호환성 보장)을 만듭니다.

<:> 키 포인트 :

PHOENIX_API_KEY = "<phoenix_api_key>"
os.environ["OTEL_EXPORTER_OTLP_HEADERS"] = f"api_key={PHOENIX_API_KEY}"
llama_index.core.set_global_handler(
    "arize_phoenix", endpoint="https://llamatrace.com/v1/traces"
)</phoenix_api_key>

reportOutput

최소한 하나의 이미지 블록이 필요하므로 최종 답변이 멀티 모달이되도록합니다. 9 단계 : 구조화 된 쿼리 엔진을 만듭니다

import os
import requests

# Create the directories (ignore errors if they already exist)
os.makedirs("data", exist_ok=True)
os.makedirs("data_images", exist_ok=True)

# URL of the PDF
url = "https://static.conocophillips.com/files/2023-conocophillips-aim-presentation.pdf"

# Download and save to data/conocophillips.pdf
response = requests.get(url)
with open("data/conocophillips.pdf", "wb") as f:
    f.write(response.content)

print("PDF downloaded to data/conocophillips.pdf")

결론 입니다. 이 파이프 라인을 자신의 문서에 자유롭게 조정하거나 대형 아카이브에 대한 검색 단계를 추가하거나 기본 이미지 분석을위한 도메인 별 모델을 통합하십시오. 기초가 여기에 놓여지면 간단한 텍스트 기반 쿼리를 훨씬 뛰어 넘는 역동적이고 대화식 및 시각적으로 풍부한 보고서를 만들 수 있습니다. 이 놀라운 파이프 라인을 개발 한 Llamaindex의 Jerry Liu에게 큰 감사를 표합니다. 키 테이크 아웃

llamaparse 및 llamaindex를 사용하여 독창적 인 콘텐츠의 무결성을 유지하면서 텍스트 및 비주얼을 구조 형식으로 변환합니다. 더 나은 상황에 대한 이해를 위해 텍스트 요약과 이미지를 짜는 시각적으로 풍부한 보고서를 생성하십시오. 더 통찰력 있고 역동적 인 출력을 위해 텍스트와 시각적 요소를 모두 통합하여 재무 보고서 생성을 향상시킬 수 있습니다. 대형 아카이브에 대한 보고서 생성을 최적화하기 위해 처리하기 전에 관련 문서를 검색하십시오. 시각적 구문 분석 개선, 차트 별 분석을 통합하고 더 깊은 통찰력을위한 텍스트 및 이미지 처리를위한 모델을 결합하십시오.

자주 묻는 질문

• q1. "멀티 모달 보고서 생성기"란란 무엇입니까?
이 기사에 나와있는 미디어는 Analytics Vidhya가 소유하지 않으며 저자의 재량에 따라 사용됩니다.

위 내용은 llamaindex를 사용한 멀티 모달 재무 보고서 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!