개요
PDF 데이터 추출 비즈니스 로직을 작업 코드로 변환하는 Python 스크립트를 작성했습니다.
이 스크립트는 10개월 동안(2024년 1월부터 10월까지) 관리인 명세서 PDF 71페이지에서 테스트되었습니다. PDF 처리를 완료하는 데 약 4초가 걸렸습니다. 수동으로 처리하는 것보다 훨씬 빠릅니다.
제가 보기에는 출력이 올바르고 코드에 오류가 발생하지 않은 것 같습니다.
아래에는 세 가지 CSV 출력의 스냅샷이 나와 있습니다. 민감한 데이터는 회색으로 표시되어 있습니다.
스냅샷 1: 보유 주식
스냅샷 2: 펀드 보유
스냅샷 3: 현금 보유
이 워크플로는 CSV 파일을 생성하기 위해 수행한 광범위한 단계를 보여줍니다.
이제 비즈니스 로직을 파이썬으로 코드로 변환하는 방법을 좀 더 자세히 설명하겠습니다.
1단계: PDF 문서 읽기
pdfplumber의 open() 함수를 사용했습니다.
# Open the PDF file with pdfplumber.open(file_path) as pdf:
file_path는 pdfplumber에게 어떤 파일을 열 것인지 알려주는 선언된 변수입니다.
2.0단계: 각 페이지에서 테이블 추출 및 필터링
extract_tables() 함수는 각 페이지에서 모든 테이블을 추출하는 힘든 작업을 수행합니다.
기본 논리에 대해 잘 알지는 못하지만 기능이 꽤 잘 작동했다고 생각합니다. 예를 들어, 아래 두 스냅샷은 추출된 테이블과 원본(PDF에서)을 보여줍니다
스냅샷 A: VS Code 터미널의 출력
스냅샷 B: PDF 표
그런 다음 나중에 특정 테이블에서 데이터를 "선택"할 수 있도록 각 테이블에 고유하게 레이블을 지정해야 했습니다.
이상적인 옵션은 각 테이블의 제목을 사용하는 것이었습니다. 하지만 제목 좌표를 결정하는 것은 제 능력 밖의 일이었습니다.
해결 방법으로 처음 세 열의 헤더를 연결하여 각 테이블을 식별했습니다. 예를 들어 스냅샷 B의 Stock Holdings 테이블에는 Stocks/ETFsnNameExchangeQuantity
라는 레이블이 지정되어 있습니다.⚠️이 접근 방식에는 심각한 단점이 있습니다. 처음 세 개의 헤더 이름이 모든 테이블을 충분히 고유하게 만들지는 못합니다. 다행히 이는 관련 없는 테이블에만 영향을 미칩니다.
2.1단계: 표가 아닌 텍스트 추출, 필터링 및 변환
필요한 특정 값인 계좌 번호 및 명세서 날짜는 각 PDF의 1페이지에 있는 하위 문자열이었습니다.
예를 들어 "계좌 번호 M1234567"에는 계좌 번호 "M1234567"이 포함됩니다.
Python의 re 라이브러리를 사용하고 ChatGPT를 통해 적합한 정규식("regex")을 제안했습니다. 정규식은 각 문자열을 두 그룹으로 나누고 두 번째 그룹에는 원하는 데이터를 넣습니다.
명세서 날짜 및 계좌 번호 문자열에 대한 정규식
# Open the PDF file with pdfplumber.open(file_path) as pdf:
다음으로 명세서 날짜를 "yyyymmdd" 형식으로 변환했습니다. 이렇게 하면 데이터를 더 쉽게 쿼리하고 정렬할 수 있습니다.
regex_date=r'Statement for \b([A-Za-z]{3}-\d{4})\b' regex_acc_no=r'Account Number ([A-Za-z]\d{7})'
match_date는 정규식과 일치하는 문자열이 발견되었을 때 선언되는 변수입니다.
3단계: 표 형식 데이터 만들기
이 시점에서 관련 데이터 포인트를 추출하는 하드 야드가 거의 완료되었습니다.
다음으로 pandas의 DataFrame() 함수를 사용하여 2단계와 3단계의 출력을 기반으로 테이블 형식의 데이터를 생성했습니다. 불필요한 열과 행을 삭제하는 데에도 이 기능을 사용했습니다.
최종 결과를 쉽게 CSV에 기록하거나 데이터베이스에 저장할 수 있습니다.
4단계: CSV 파일에 데이터 쓰기
Python의 write_to_csv() 함수를 사용하여 각 데이터프레임을 CSV 파일에 기록했습니다.
if match_date: # Convert string to a mmm-yyyy date date_obj=datetime.strptime(match_date.group(1),"%b-%Y") # Get last day of the month last_day=calendar.monthrange(date_obj.year,date_obj.month[1] # Replace day with last day of month last_day_of_month=date_obj.replace(day=last_day) statement_date=last_day_of_month.strftime("%Y%m%d")
df_cash_selected는 Cash Holdings 데이터 프레임이고 file_cash_holdings는 Cash Holdings CSV의 파일 이름입니다.
➡️ 데이터베이스 노하우를 습득한 후 적절한 데이터베이스에 데이터를 작성하겠습니다.
다음 단계
이제 관리인 명세서 PDF에서 테이블 및 텍스트 데이터를 추출하기 위한 작업 스크립트가 준비되었습니다.
계속 진행하기 전에 스크립트가 예상대로 작동하는지 확인하기 위해 몇 가지 테스트를 실행하겠습니다.
--종료
위 내용은 # | PDF 데이터 추출 자동화: 빌드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

이 기사에서는 HTML을 구문 분석하기 위해 파이썬 라이브러리 인 아름다운 수프를 사용하는 방법을 설명합니다. 데이터 추출, 다양한 HTML 구조 및 오류 처리 및 대안 (SEL과 같은 Find (), find_all (), select () 및 get_text ()와 같은 일반적인 방법을 자세히 설명합니다.

Linux 터미널에서 Python 버전을 보려고 할 때 Linux 터미널에서 Python 버전을 볼 때 권한 문제에 대한 솔루션 ... Python을 입력하십시오 ...

Python의 통계 모듈은 강력한 데이터 통계 분석 기능을 제공하여 생물 통계 및 비즈니스 분석과 같은 데이터의 전반적인 특성을 빠르게 이해할 수 있도록 도와줍니다. 데이터 포인트를 하나씩 보는 대신 평균 또는 분산과 같은 통계를보고 무시할 수있는 원래 데이터에서 트렌드와 기능을 발견하고 대형 데이터 세트를보다 쉽고 효과적으로 비교하십시오. 이 튜토리얼은 평균을 계산하고 데이터 세트의 분산 정도를 측정하는 방법을 설명합니다. 달리 명시되지 않는 한,이 모듈의 모든 함수는 단순히 평균을 합산하는 대신 평균 () 함수의 계산을 지원합니다. 부동 소수점 번호도 사용할 수 있습니다. 무작위로 가져옵니다 수입 통계 Fracti에서

파이썬 객체의 직렬화 및 사막화는 사소한 프로그램의 주요 측면입니다. 무언가를 Python 파일에 저장하면 구성 파일을 읽거나 HTTP 요청에 응답하는 경우 객체 직렬화 및 사태화를 수행합니다. 어떤 의미에서, 직렬화와 사제화는 세계에서 가장 지루한 것들입니다. 이 모든 형식과 프로토콜에 대해 누가 걱정합니까? 일부 파이썬 객체를 지속하거나 스트리밍하여 나중에 완전히 검색하려고합니다. 이것은 세상을 개념적 차원에서 볼 수있는 좋은 방법입니다. 그러나 실제 수준에서 선택한 직렬화 체계, 형식 또는 프로토콜은 속도, 보안, 유지 보수 상태 및 프로그램의 기타 측면을 결정할 수 있습니다.

이 기사는 딥 러닝을 위해 텐서 플로와 Pytorch를 비교합니다. 데이터 준비, 모델 구축, 교육, 평가 및 배포와 관련된 단계에 대해 자세히 설명합니다. 프레임 워크, 특히 계산 포도와 관련하여 주요 차이점

이 튜토리얼은 간단한 나무 탐색을 넘어서 DOM 조작에 중점을 둔 아름다운 수프에 대한 이전 소개를 바탕으로합니다. HTML 구조를 수정하기위한 효율적인 검색 방법과 기술을 탐색하겠습니다. 일반적인 DOM 검색 방법 중 하나는 EX입니다

이 기사는 Numpy, Pandas, Matplotlib, Scikit-Learn, Tensorflow, Django, Flask 및 요청과 같은 인기있는 Python 라이브러리에 대해 설명하고 과학 컴퓨팅, 데이터 분석, 시각화, 기계 학습, 웹 개발 및 H에서의 사용에 대해 자세히 설명합니다.

이 기사는 Python 개발자가 CLIS (Command-Line Interfaces) 구축을 안내합니다. Typer, Click 및 Argparse와 같은 라이브러리를 사용하여 입력/출력 처리를 강조하고 CLI 유용성을 향상시키기 위해 사용자 친화적 인 디자인 패턴을 홍보하는 세부 정보.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

에디트플러스 중국어 크랙 버전
작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

맨티스BT
Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

SublimeText3 Linux 새 버전
SublimeText3 Linux 최신 버전

PhpStorm 맥 버전
최신(2018.2.1) 전문 PHP 통합 개발 도구
