Pydantic을 사용하여 구조화 된 연구 자동화 시스템 구축

학업 연구의 역동적 인 분야에서 효율적인 정보 수집, 합성 및 프레젠테이션이 가장 중요합니다. 문헌 검토의 수동 프로세스는 시간이 많이 걸리며 더 깊은 분석을 방해합니다. Pydantic을 사용하여 구축 된 다중 에이전트 연구 보조 시스템은 정교한 솔루션을 제공합니다. 전문 에이전트는 복잡한 작업을 모듈 식적이고 확장 할 수 있도록 협력합니다. 그러나 여러 에이전트를 관리하려면 데이터 일관성, 검증 및 통신을 신중하게 고려해야합니다. 이 Pydantic 기반 시스템은 강력한 데이터 스키마를 시행하고 데이터 처리를 개선하며 시스템 복잡성을 단순화함으로써 이러한 과제를 해결합니다.

이 기사는 Pydantic-AI 및 ARXIV와 같은 도구를 통합하는 Pydantic을 사용하여 구조화 된 다기관 연구 조교의 구성에 대해 자세히 설명합니다. 단계별 코드 설명 및 예상 결과를 제공하겠습니다.

주요 학습 목표

• 신뢰할 수있는 에이전트 커뮤니케이션을위한 Pydantic 동력 다 사용료 연구 조교에서 구조화 된 데이터 모델링의 중요성을 파악하십시오.
• 원활한 통합, 모듈 식 에이전트 오케스트레이션 및 효율적인 자동화 된 연구 워크 플로우를 위해 Pydantic을 사용하여 구조화 된 데이터 스키마를 정의하고 구현합니다.
• 특정 작업을위한 모듈 식 에이전트 설계 및 오케스트레이션 : 쿼리 정제, 데이터 검색, 키워드 추출 및 요약.
• 구조적 에이전트 상호 작용을 통해 외부 API (예 : ARXIV)를 자동화 된 워크 플로우에 통합하십시오.
• 구조화 된 에이전트 출력에서 ​​직접 고품질 출력 (예 : PDF 보고서)을 생성하여 자동화 된 연구 워크 플로의 실제 유용성을 향상시킵니다.

이 기사는 Data Science Blogathon의 일부입니다.

목차

• Pydantic을 사용하여 데이터 모델을 정의합니다
• 다중 에이전트 프레임 워크 구조
• 프롬프트 프로세서 에이전트와 정제 쿼리
• 종이 검색 에이전트를 사용한 효율적인 종이 검색
• 키워드 추출 에이전트와의 키워드 추출
• 요약 에이전트와의 간결한 요약
• 오케스트레이션 에이전트
• 전문 출력 생성
• 실제 사례
• 결론
• 자주 묻는 질문

Pydantic을 사용하여 데이터 모델을 정의합니다

잘 정의 된 데이터 모델은 다중 에이전트 시스템에서 중요합니다. 에이전트 간의 일관되고 예측 가능한 데이터 교환이 필수적입니다. Pydantic은 파이썬에서 데이터 구성표를 정의하고 데이터 일관성을 보장하고 런타임 오류를 줄이며 원활한 검증을 가능하게함으로써이를 우아하게 해결합니다.

다음은 Pydantic을 사용하여 구조화 된 데이터 모델의 예입니다.

 Pydantic Import Basemodel, Field에서

클래스 PapermetAdata (Basemodel) :
    제목 : str = field (..., description = "종이 제목")
    초록 : str = field (..., description = "Paper Abstract")
    저자 : 목록 [str] = field (..., description = "저자 목록")
    publication_date : str = field (..., description = "게시 날짜")

현장 설명

• title : 쉬운 참조 및 조직을위한 종이 제목.
• abstract : 키워드 추출 및 요약을위한 간결한 요약.
• authors : 추가 쿼리 또는 인용 추적에 대한 저자 목록.
• publication_date : 정렬 및 필터링을위한 게시 날짜.

우리의 시스템에는 5 명의 에이전트가 포함됩니다.

• 프롬프트 프로세서 에이전트
• 종이 검색 요원
• 키워드 추출 에이전트
• 요약 에이전트
• 라우터 (오케스트레이터) 에이전트

이 에이전트는 Pydantic 정의 모델을 사용하여 통신하여 예측 가능하고 검증 된 데이터를 보장하고 오류를 최소화하며 시스템 견고성을 향상시킵니다.

우리는 각 에이전트의 구현, 역할 및 예상 출력을 탐구 할 것입니다.

다중 에이전트 프레임 워크 구조

Pydantic Data 모델을 바탕으로 우리는 이제 다중 에이전트 프레임 워크를 조사합니다. 각 에이전트는 특정 역할을 가지고 있으며 다른 역할과 완벽하게 상호 작용합니다.

에이전트 역할

• 프롬프트 프로세서 에이전트 : 검색 관련성 향상을 위해 사용자 쿼리를 개선합니다.
• 종이 검색 에이전트 : 외부 데이터베이스 (ARXIV)에서 관련 논문을 검색합니다.
• 키워드 추출 에이전트 : 종이 초록에서 주요 용어를 추출합니다.
• 요약 에이전트 : 종이 초록의 간결한 요약을 생성합니다.
• 라우터 에이전트 (Orchestrator) : 워크 플로, 커뮤니케이션 및 데이터 흐름 관리를 조정합니다.

에이전트 상호 작용

에이전트는 순차적으로 상호 작용합니다.

1. 프롬프트 프로세서는 사용자 쿼리를 개선합니다.
2. 정제 된 쿼리는 종이 검색 에이전트로 전송됩니다.
3. 라우터는 키워드 추출 및 요약 에이전트에 초록을 보냅니다.
4. 라우터는 결과를 최종 보고서로 컴파일합니다.

이 모듈 식 디자인은 유지 보수 및 확장 성을 보장합니다. 에이전트는 독립적으로 개선되거나 교체 될 수 있습니다. 우리는 각 에이전트의 구현을 탐색 할 것입니다.

프롬프트 프로세서 에이전트와 함께 연구 쿼리를 개선합니다

정확한 쿼리는 효과적인 검색에 필수적입니다. 프롬프트 프로세서 에이전트는 사용자 쿼리를 개선하여 학술 데이터베이스의 결과 관련성을 향상시킵니다.

프롬프트 프로세서 에이전트 구현은 다음과 같습니다.

 @prompt_processor_agent.tool
Async def process_prompt (ctx : runcontext [researchContext], topic : str) -> str :
    topic = topic.strip (). lower ()
    주제에서 'in'인 경우 :
        하위 토피스 = Topic.split ( 'in')
        main_topic = 하위 토픽 [0] .strip ()
        컨텍스트 = 하위 주위 [1] .strip ()
        refined_query = f "all : {main_topic} 및 cat : {context.replace ( '', '_')}"
    또 다른:
        refined_query = f "ti : \"{topic} \ "또는 abs : \"{topic} \ ""
    return_Query를 반환합니다

이 개선 된 구현은 입력, 상황에 맞는 신호 ( "IN")를 구문 분석하고 구조화 된 쿼리를 빌드하며 더 넓은 주제를위한 폴백 처리를 포함합니다. 이것은보다 정확한 검색으로 이어집니다.

논문 검색 에이전트와 함께 연구 논문을 효율적으로 가져옵니다

논문 검색 에이전트는 외부 API (예 : ARXIV)와 상호 작용하여 정제 된 쿼리를 기반으로 관련 논문을 검색합니다. 일관된 데이터 처리를 위해 Pydantic 모델을 사용합니다.

 @paper_retrieval_agent.tool
Async def fetch_papers (ctx : runcontext [ResearchContext]) -> 목록 [papermetadata] :
    검색 = arxiv.search (query = ctx.deps.query, max_results = 5, sort_by = arxiv.sortcricerion.submittedDate)
    results = list (search.Results ())
    논문 = []
    결과적으로 결과 :
        published_str = result.published.strftime ( "%y-%m-%d") hasattr (result, "published") 및 result.published는 "알 수없는"다른 사람이 아닙니다.
        paper = papermetAdata (title = result.title, actract = result.summary, authors = [result.authors의 저자의 이름], publication_date = published_str)
        논문.
    반환 서류

Pydantic은 데이터 검증 및 일관성을 보장하여 다운 스트림 처리를 단순화합니다.

키워드 추출 에이전트로 귀중한 키워드를 추출합니다

키워드 추출 에이전트는 연구자들이 종이 관련성을 신속하게 평가할 수 있도록 초록의 주요 용어를 식별합니다.

 @keyword_extraction_agent.tool
Async def extract_keywords (ctx : runcontext [researchContext], acpract : str) -> keywordResult :
    Words = Abstract.split ()
    seen = set ()
    고유 _words = []
    단어로 :
        정규화 = Word.strip ( '.,; : "()'). lower ()
        정규화되고 정규화되지 않은 경우 보이지 않으면 :
            seen.add (정규화)
            고유 _words.Append (정규화)
        LEN (고유 한 _words)> = 5 인 경우 :
            부서지다
    return keywordResult (keywords = 고유 _words)

이것은 단순화 된 예입니다. 생산 시스템은보다 고급 NLP 기술을 사용합니다. Pydantic은 구조화되고 일관된 출력을 유지합니다.

요약 에이전트와 간결하게 논문을 요약합니다

요약 에이전트는 초록의 간결한 요약을 생성합니다.

 @summary_agent.tool
Async def summarize_paper (ctx : runcontext [researchContext], acpract : str) -> paperSummary :
    summary_text = Abstract [: 150] "..."if len (Abstract)> 150 Else Abstract
    return papersummary (summary = summary_text)

이것은 기본적인 예입니다. 고급 요약 모델은 요약 품질을 크게 향상시킬 수 있습니다.

모든 것을 함께 가져 오기 : 에이전트 오케스트레이션

라우터 에이전트는 전체 워크 플로를 오케스트레이션합니다.

 @router_agent.tool
Async def or
    rempined_query = await prompt_processor_agent.run (ctx.deps.query, deps = ctx.deps)
    papers = await paper_retrieval_agent.run (recined_query.data, deps = ctx.deps)
    응답 = "최종 보고서 : \ n"
    종이의 종이.
        키워드 = await keyword_extraction_agent.run (paper.abstract, deps = ctx.deps)
        Summary = Await Summary_agent.Run (Paper.AbStract, deps = Ctx.Deps)
        응답 = (
            f "\ ntitle : {paper.title} \ n"
            f "키워드 : {keywords.data.keywords} \ n"
            f "요약 : {summary.data.summary} \ n"
        ))
    반환 응답

이것은 효율성을 위해 비동기 작업을 사용합니다. 구조화 된 벌목 AIDS 디버깅.

구조화 된 데이터로 전문 출력을 생성합니다

구조화 된 데이터는 전문 PDF 보고서로 변환됩니다.

 def generate_pdf_report (report_text : str, output_filename : str = "final_report.pdf") :
    Markdown2 가져 오기
    xhtml2pdf에서 pisa를 가져옵니다
    html_text = markdown2.markdown (report_text)
    result_file로 Open (output_fileName, "wb")을 사용하여 :
        pisa.createpdf (html_text, dest = result_file)

이는 구조화 된 데이터를 활용하여 읽을 수있는 PDF로 쉽게 변환합니다.

다중 에이전트 시스템의 행동 : 실제 사례

시스템의 효과는 예를 통해 입증됩니다. (예제는 여기에 포함되어 다른 연구 주제에 대한 시스템의 출력을 보여줍니다.)

결론

Pydantic과 함께 구축 된이 다중 에이전트 연구 보조 시스템은 연구 워크 플로를 효율적으로 자동화하고 전문 보고서를 생성합니다. Pydantic의 구조화 된 데이터 처리는 시스템의 신뢰성과 확장 성의 핵심입니다.

자주 묻는 질문

(FAQ는 시스템에 대한 일반적인 질문을 해결하여 여기에 포함됩니다.)

(참고 : 이미지 및 코드 스 니펫은 자리 표시 자입니다. 전체 코드는 별도로 제공되어야합니다.)

위 내용은 Pydantic을 사용하여 구조화 된 연구 자동화 시스템 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!