Comment explorer des données tabulaires à partir de fichiers PDF en Python (exemple de code)

Le contenu de cet article explique comment Python peut explorer les données tabulaires à partir de fichiers PDF (exemples de code). Il a une certaine valeur de référence. J'espère que cela vous sera utile.

  Cet article montrera un robot légèrement différent.
Dans le passé, nos robots d'exploration exploraient les données d'Internet, car les pages Web sont généralement écrites en codes HTML, CSS et JavaScript. Il existe donc un grand nombre de technologies matures pour explorer diverses données dans les pages Web. Cette fois, les documents que nous devons explorer sont des fichiers PDF. Cet article montrera comment utiliser le module camelot de Python pour explorer les données tabulaires à partir de fichiers PDF.
Dans notre vie quotidienne et notre travail, les fichiers PDF sont sans aucun doute l'un des formats de fichiers les plus couramment utilisés. Des manuels et didacticiels aux contrats et documents de planification, nous pouvons tous voir ce format de fichier. Mais comment extraire des tableaux de fichiers PDF est un gros problème. Parce qu'il n'y a pas de représentation interne en PDF pour représenter un tableau. Cela rend les données tabulaires difficiles à extraire pour l’analyse. Alors, comment analyser les données d’un tableau à partir d’un PDF ?
 La réponse est le module camelot de Python !
Camelot est un module Python qui permet à quiconque d'extraire facilement des données tabulaires à partir de fichiers PDF. Vous pouvez utiliser la commande suivante pour installer le module camelot (l'installation prend beaucoup de temps) :

pip install camelot-py

L'adresse officielle de la documentation du module camelot est : https://camelot-py.readthedoc. ...
Ce qui suit montrera comment utiliser le module camelot pour explorer les données tabulaires à partir de fichiers PDF.

Exemple 1

  Tout d'abord, regardons un exemple simple : par exemple.pdf, le fichier entier n'a qu'une seule page, et il n'y a qu'un seul tableau dans cette page, comme suit :

Utilisez le code Python suivant pour extraire le tableau dans le fichier PDF :

import camelot

# 从PDF文件中提取表格
tables = camelot.read_pdf('E://eg.pdf', pages='1', flavor='stream')

# 表格信息
print(tables)
print(tables[0])
# 表格数据
print(tables[0].data)

Le résultat de sortie est :

<tablelist>
<table>
[['ID', '姓名', '城市', '性别'], ['1', 'Alex', 'Shanghai', 'M'], ['2', 'Bob', 'Beijing', 'F'], ['3', 'Cook', 'New York', 'M']]<p>En analysant le code, camelot.read_pdf() est la fonction de camelot pour extraire les données de la table. Les paramètres d'entrée sont le chemin du fichier PDF, le numéro de page (pages) et la méthode d'analyse de la table (là-bas). sont deux méthodes, flux et treillis). Pour la méthode d'analyse de table, la méthode par défaut est lattice et la méthode stream analysera la page PDF entière sous forme de tableau par défaut. Si vous devez spécifier la zone dans la page analysée, vous pouvez utiliser le paramètre table_area. <br> La commodité du module camelot est qu'il fournit des fonctions pour convertir directement les données de table extraites en pandas, csv, JSON et html, telles que la fonction tables[0].df, tables[0].to_csv(). Prenons comme exemple la sortie d'un fichier csv : </p>
<pre class="brush:php;toolbar:false">import camelot

# 从PDF文件中提取表格
tables = camelot.read_pdf('E://eg.pdf', pages='1', flavor='stream')

# 将表格数据转化为csv文件
tables[0].to_csv('E://eg.csv')

Le fichier csv résultant est le suivant :

Exemple 2

 Dans l'exemple 2, nous extrairons les données du tableau dans une certaine zone de la page PDF. Les pages (parties) du fichier PDF sont les suivantes :

Afin d'extraire le seul tableau de la page entière, nous devons localiser l'emplacement du tableau. Le système de coordonnées du fichier PDF est différent de celui de l'image. Il prend le sommet du coin inférieur gauche comme origine, l'axe des x vers la droite et l'axe des y vers le haut. la page entière peut être générée via le code Python suivant :

import camelot

# 从PDF中提取表格
tables = camelot.read_pdf('G://Statistics-Fundamentals-Succinctly.pdf', pages='53', \
                          flavor='stream')

# 绘制PDF文档的坐标，定位表格所在的位置
tables[0].plot('text')

Le résultat de sortie est :

UserWarning: No tables found on page-53 [stream.py:292]

Le code entier ne trouve pas la table C'est parce que la méthode stream traite. la page PDF entière sous forme de tableau par défaut, le tableau n'est donc pas trouvé. Mais l'image des coordonnées de la page dessinée est la suivante :

En comparant attentivement la page PDF précédente, on constate facilement que les coordonnées de la page supérieure Le coin gauche de la zone correspondant au tableau est (50 620), et les coordonnées du coin inférieur droit sont (500 540). Nous ajoutons le paramètre table_area à la fonction read_pdf(). Le code Python complet est le suivant :

import camelot

# 识别指定区域中的表格数据
tables = camelot.read_pdf('G://Statistics-Fundamentals-Succinctly.pdf', pages='53', \
                          flavor='stream', table_area=['50,620,500,540'])

# 绘制PDF文档的坐标，定位表格所在的位置
table_df = tables[0].df

print(type(table_df))
print(table_df.head(n=6))

Le résultat de sortie est :

<class>
         0               1                2           3
0  Student  Pre-test score  Post-test score  Difference
1        1              70               73           3
2        2              64               65           1
3        3              69               63          -6
4        …               …                …           …
5       34              82               88           6</class>

Résumé

Dans l'identification spécifique Lors de la création d'un tableau dans une page PDF, en plus du paramètre de spécification de la zone, il existe également des paramètres tels que l'exposant et l'indice, la fusion de cellules, etc. Pour une utilisation détaillée, veuillez vous référer au site Web du document officiel de Camelot : https://camelot-py.readthedoc...

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!