Normalisation de feuille de calcul sans effort avec LLM

Cet article détaille l'automatisation du nettoyage des données pour les ensembles de données tabulaires, en se concentrant sur la transformation des feuilles de calcul désordonnées en formats bien rangés et lisibles par machine. Vous pouvez tester cela en utilisant le service gratuit CleanMyExcel.io sans enregistrement.

Pourquoi les données bien rangées sont importantes

Considérez une feuille de calcul Excel contenant des données de récompense de film (provenant des données de nettoyage pour une science efficace des données ). L'objectif de l'analyse des données est de dériver des informations exploitables, nécessitant des données fiables (propres) et bien rangées (bien normalisées). Cet exemple, bien que petit, met en évidence les défis du nettoyage manuel des données lorsqu'il est mis à l'échelle vers des ensembles de données plus grands. L'interprétation directe de sa structure est difficile pour les machines, soulignant l'importance des données bien rangées pour un traitement et une analyse efficaces.

Exemple de données remodelées:

Cette version bien rangée facilite l'interaction des données et l'extraction des informations plus faciles à l'aide de divers outils. Le défi réside dans la conversion de feuilles de calcul lisibles par l'homme en versions bien rangées conviviales.

Principes de données bien rangées

Basé sur les "Tidy Data" de Hadley Wickham (Journal of Statistical Software, 2014), Tridy Data adhère à ces principes:

• Chaque variable est une colonne.
• Chaque observation est une ligne.
• Chaque type d'unité d'observation est un tableau.

Les problèmes de données désordonnés courants comprennent:

• En-têtes de colonne comme valeurs (par exemple, des années comme en-têtes de colonne au lieu d'une colonne "année").
• Variables multiples dans une colonne (par exemple, "Age_gender").
• Variables dans les lignes et les colonnes.
• Plusieurs unités d'observation dans une seule table.
• Une seule unité s'est divisée sur plusieurs tables.

Comment ranger les données: un flux de travail

La transformation des données désordonnées en données bien rangées n'est pas facilement automatisée en raison de la nature unique de chaque ensemble de données. Bien que les systèmes basés sur des règles soient souvent insuffisants, les modèles d'apprentissage automatique, en particulier les modèles de langue (LLM), offrent des avantages. Ce flux de travail utilise des LLM et du code:

1. Encodeur de feuille de calcul: sérialise les informations de feuille de calcul dans le texte, en conservant uniquement des données essentielles pour le traitement LLM efficace.
2. Analyse de la structure du tableau: le LLM analyse la structure de la feuille de calcul, identifiant les tables, les en-têtes, les limites et les problèmes potentiels comme les cellules fusionnées.
3. Estimation du schéma du tableau: le LLM identifie itérativement les colonnes, les groupes liés aux groupes et propose un schéma final.
4. Génération de code: le LLM génère du code pour transformer la feuille de calcul en une trame de données bien rangée, incorporant la vérification itérative du code et la validation du cadre de données.
5. Frame de données à Excel: la trame de données radieuse est convertie en fichier Excel.

Pourquoi un flux de travail, pas un agent?

Actuellement, un flux de travail est plus robuste et maintenable qu'un agent entièrement autonome, bien que les approches basées sur des agents puissent offrir des avantages futurs.

Futurs articles

Les futurs articles couvriront:

• Encodage de feuille de calcul détaillée.
• Vérification de la validité des données et de l'unicité.
• Gestion des valeurs manquantes.
• Évaluation du remodelage des données et de la qualité.

Merci à Marc Hobballah d'avoir examiné cet article. Toutes les images, sauf indication contraire, sont par l'auteur.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!