찾다
백엔드 개발파이썬 튜토리얼# | PDF 데이터 추출 자동화: 빌드

개요

PDF 데이터 추출 비즈니스 로직을 작업 코드로 변환하는 Python 스크립트를 작성했습니다.

이 스크립트는 10개월 동안(2024년 1월부터 10월까지) 관리인 명세서 PDF 71페이지에서 테스트되었습니다. PDF 처리를 완료하는 데 약 4초가 걸렸습니다. 수동으로 처리하는 것보다 훨씬 빠릅니다.

# | Automate PDF data extraction: Build

제가 보기에는 출력이 올바르고 코드에 오류가 발생하지 않은 것 같습니다.

아래에는 세 가지 CSV 출력의 스냅샷이 나와 있습니다. 민감한 데이터는 회색으로 표시되어 있습니다.

스냅샷 1: 보유 주식

# | Automate PDF data extraction: Build

스냅샷 2: 펀드 보유

# | Automate PDF data extraction: Build

스냅샷 3: 현금 보유

# | Automate PDF data extraction: Build

이 워크플로는 CSV 파일을 생성하기 위해 수행한 광범위한 단계를 보여줍니다.

# | Automate PDF data extraction: Build

이제 비즈니스 로직을 파이썬으로 코드로 변환하는 방법을 좀 더 자세히 설명하겠습니다.

1단계: PDF 문서 읽기

pdfplumber의 open() 함수를 사용했습니다.

# Open the PDF file
with pdfplumber.open(file_path) as pdf:

file_path는 pdfplumber에게 어떤 파일을 열 것인지 알려주는 선언된 변수입니다.

2.0단계: 각 페이지에서 테이블 추출 및 필터링

extract_tables() 함수는 각 페이지에서 모든 테이블을 추출하는 힘든 작업을 수행합니다.

기본 논리에 대해 잘 알지는 못하지만 기능이 꽤 잘 작동했다고 생각합니다. 예를 들어, 아래 두 스냅샷은 추출된 테이블과 원본(PDF에서)을 보여줍니다

스냅샷 A: VS Code 터미널의 출력

# | Automate PDF data extraction: Build

스냅샷 B: PDF 표

# | Automate PDF data extraction: Build

그런 다음 나중에 특정 테이블에서 데이터를 "선택"할 수 있도록 각 테이블에 고유하게 레이블을 지정해야 했습니다.

이상적인 옵션은 각 테이블의 제목을 사용하는 것이었습니다. 하지만 제목 좌표를 결정하는 것은 제 능력 밖의 일이었습니다.

해결 방법으로 처음 세 열의 헤더를 연결하여 각 테이블을 식별했습니다. 예를 들어 스냅샷 BStock Holdings 테이블에는 Stocks/ETFsnNameExchangeQuantity

라는 레이블이 지정되어 있습니다.

⚠️이 접근 방식에는 심각한 단점이 있습니다. 처음 세 개의 헤더 이름이 모든 테이블을 충분히 고유하게 만들지는 못합니다. 다행히 이는 관련 없는 테이블에만 영향을 미칩니다.

2.1단계: 표가 아닌 텍스트 추출, 필터링 및 변환

필요한 특정 값인 계좌 번호 및 명세서 날짜는 각 PDF의 1페이지에 있는 하위 문자열이었습니다.

예를 들어 "계좌 번호 M1234567"에는 계좌 번호 "M1234567"이 포함됩니다.

# | Automate PDF data extraction: Build

Python의 re 라이브러리를 사용하고 ChatGPT를 통해 적합한 정규식("regex")을 제안했습니다. 정규식은 각 문자열을 두 그룹으로 나누고 두 번째 그룹에는 원하는 데이터를 넣습니다.

명세서 날짜 및 계좌 번호 문자열에 대한 정규식

# Open the PDF file
with pdfplumber.open(file_path) as pdf:

다음으로 명세서 날짜를 "yyyymmdd" 형식으로 변환했습니다. 이렇게 하면 데이터를 더 쉽게 쿼리하고 정렬할 수 있습니다.

regex_date=r'Statement for \b([A-Za-z]{3}-\d{4})\b'
regex_acc_no=r'Account Number ([A-Za-z]\d{7})'

match_date는 정규식과 일치하는 문자열이 발견되었을 때 선언되는 변수입니다.

3단계: 표 형식 데이터 만들기

이 시점에서 관련 데이터 포인트를 추출하는 하드 야드가 거의 완료되었습니다.

다음으로 pandas의 DataFrame() 함수를 사용하여 2단계3단계의 출력을 기반으로 테이블 형식의 데이터를 생성했습니다. 불필요한 열과 행을 삭제하는 데에도 이 기능을 사용했습니다.

최종 결과를 쉽게 CSV에 기록하거나 데이터베이스에 저장할 수 있습니다.

4단계: CSV 파일에 데이터 쓰기

Python의 write_to_csv() 함수를 사용하여 각 데이터프레임을 CSV 파일에 기록했습니다.

 if match_date:
    # Convert string to a mmm-yyyy date
    date_obj=datetime.strptime(match_date.group(1),"%b-%Y")
    # Get last day of the month
    last_day=calendar.monthrange(date_obj.year,date_obj.month[1]
    # Replace day with last day of month
    last_day_of_month=date_obj.replace(day=last_day)
    statement_date=last_day_of_month.strftime("%Y%m%d")

df_cash_selected는 Cash Holdings 데이터 프레임이고 file_cash_holdings는 Cash Holdings CSV의 파일 이름입니다.

➡️ 데이터베이스 노하우를 습득한 후 적절한 데이터베이스에 데이터를 작성하겠습니다.

다음 단계

이제 관리인 명세서 PDF에서 테이블 및 텍스트 데이터를 추출하기 위한 작업 스크립트가 준비되었습니다.

계속 진행하기 전에 스크립트가 예상대로 작동하는지 확인하기 위해 몇 가지 테스트를 실행하겠습니다.

--종료

위 내용은 # | PDF 데이터 추출 자동화: 빌드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
HTML을 구문 분석하기 위해 아름다운 수프를 어떻게 사용합니까?HTML을 구문 분석하기 위해 아름다운 수프를 어떻게 사용합니까?Mar 10, 2025 pm 06:54 PM

이 기사에서는 HTML을 구문 분석하기 위해 파이썬 라이브러리 인 아름다운 수프를 사용하는 방법을 설명합니다. 데이터 추출, 다양한 HTML 구조 및 오류 처리 및 대안 (SEL과 같은 Find (), find_all (), select () 및 get_text ()와 같은 일반적인 방법을 자세히 설명합니다.

Linux 터미널에서 Python 버전을 볼 때 발생하는 권한 문제를 해결하는 방법은 무엇입니까?Linux 터미널에서 Python 버전을 볼 때 발생하는 권한 문제를 해결하는 방법은 무엇입니까?Apr 01, 2025 pm 05:09 PM

Linux 터미널에서 Python 버전을 보려고 할 때 Linux 터미널에서 Python 버전을 볼 때 권한 문제에 대한 솔루션 ... Python을 입력하십시오 ...

파이썬의 수학 모듈 : 통계파이썬의 수학 모듈 : 통계Mar 09, 2025 am 11:40 AM

Python의 통계 모듈은 강력한 데이터 통계 분석 기능을 제공하여 생물 통계 및 비즈니스 분석과 같은 데이터의 전반적인 특성을 빠르게 이해할 수 있도록 도와줍니다. 데이터 포인트를 하나씩 보는 대신 평균 또는 분산과 같은 통계를보고 무시할 수있는 원래 데이터에서 트렌드와 기능을 발견하고 대형 데이터 세트를보다 쉽고 효과적으로 비교하십시오. 이 튜토리얼은 평균을 계산하고 데이터 세트의 분산 정도를 측정하는 방법을 설명합니다. 달리 명시되지 않는 한,이 모듈의 모든 함수는 단순히 평균을 합산하는 대신 평균 () 함수의 계산을 지원합니다. 부동 소수점 번호도 사용할 수 있습니다. 무작위로 가져옵니다 수입 통계 Fracti에서

파이썬 객체의 직렬화 및 사제화 : 1 부파이썬 객체의 직렬화 및 사제화 : 1 부Mar 08, 2025 am 09:39 AM

파이썬 객체의 직렬화 및 사막화는 사소한 프로그램의 주요 측면입니다. 무언가를 Python 파일에 저장하면 구성 파일을 읽거나 HTTP 요청에 응답하는 경우 객체 직렬화 및 사태화를 수행합니다. 어떤 의미에서, 직렬화와 사제화는 세계에서 가장 지루한 것들입니다. 이 모든 형식과 프로토콜에 대해 누가 걱정합니까? 일부 파이썬 객체를 지속하거나 스트리밍하여 나중에 완전히 검색하려고합니다. 이것은 세상을 개념적 차원에서 볼 수있는 좋은 방법입니다. 그러나 실제 수준에서 선택한 직렬화 체계, 형식 또는 프로토콜은 속도, 보안, 유지 보수 상태 및 프로그램의 기타 측면을 결정할 수 있습니다.

Tensorflow 또는 Pytorch로 딥 러닝을 수행하는 방법은 무엇입니까?Tensorflow 또는 Pytorch로 딥 러닝을 수행하는 방법은 무엇입니까?Mar 10, 2025 pm 06:52 PM

이 기사는 딥 러닝을 위해 텐서 플로와 Pytorch를 비교합니다. 데이터 준비, 모델 구축, 교육, 평가 및 배포와 관련된 단계에 대해 자세히 설명합니다. 프레임 워크, 특히 계산 포도와 관련하여 주요 차이점

아름다운 수프로 파이썬에서 웹 페이지를 긁어 내기 : 검색 및 DOM 수정아름다운 수프로 파이썬에서 웹 페이지를 긁어 내기 : 검색 및 DOM 수정Mar 08, 2025 am 10:36 AM

이 튜토리얼은 간단한 나무 탐색을 넘어서 DOM 조작에 중점을 둔 아름다운 수프에 대한 이전 소개를 바탕으로합니다. HTML 구조를 수정하기위한 효율적인 검색 방법과 기술을 탐색하겠습니다. 일반적인 DOM 검색 방법 중 하나는 EX입니다

인기있는 파이썬 라이브러리와 그 용도는 무엇입니까?인기있는 파이썬 라이브러리와 그 용도는 무엇입니까?Mar 21, 2025 pm 06:46 PM

이 기사는 Numpy, Pandas, Matplotlib, Scikit-Learn, Tensorflow, Django, Flask 및 요청과 같은 인기있는 Python 라이브러리에 대해 설명하고 과학 컴퓨팅, 데이터 분석, 시각화, 기계 학습, 웹 개발 및 H에서의 사용에 대해 자세히 설명합니다.

Python으로 명령 줄 인터페이스 (CLI)를 만드는 방법은 무엇입니까?Python으로 명령 줄 인터페이스 (CLI)를 만드는 방법은 무엇입니까?Mar 10, 2025 pm 06:48 PM

이 기사는 Python 개발자가 CLIS (Command-Line Interfaces) 구축을 안내합니다. Typer, Click 및 Argparse와 같은 라이브러리를 사용하여 입력/출력 처리를 강조하고 CLI 유용성을 향상시키기 위해 사용자 친화적 인 디자인 패턴을 홍보하는 세부 정보.

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

SublimeText3 Linux 새 버전

SublimeText3 Linux 새 버전

SublimeText3 Linux 최신 버전

PhpStorm 맥 버전

PhpStorm 맥 버전

최신(2018.2.1) 전문 PHP 통합 개발 도구