Comment supprimer les doublons à l'aide des expressions régulières Python

Dans l'analyse et le prétraitement des données, il est souvent nécessaire de traiter des éléments en double dans les données. L'utilisation d'expressions régulières Python est un moyen efficace et flexible de supprimer les doublons. Dans cet article, nous expliquerons comment supprimer les doublons à l'aide des expressions régulières Python.

1. Importer les bibliothèques nécessaires

Tout d'abord, nous devons importer les bibliothèques nécessaires, y compris re et pandas. Parmi elles, la bibliothèque re est une bibliothèque spécifiquement utilisée pour les opérations d'expressions régulières dans la bibliothèque standard Python tandis que la bibliothèque pandas est une bibliothèque essentielle dans le domaine de l'analyse des données et est utilisée pour traiter les données.

importer ré
importer des pandas en tant que pd

2. Lire les données

Ensuite, nous devons lire les données à traiter. Ici, nous prenons le fichier csv comme exemple et utilisons la fonction read_csv de la bibliothèque pandas pour lire les données.

data = pd.read_csv('data.csv')

3. Rechercher les doublons

Avant de supprimer les doublons, nous devons d'abord rechercher les doublons dans les données. Nous pouvons utiliser la fonction dupliquée de la bibliothèque pandas pour déterminer si chaque ligne de données est dupliquée avec la ligne de données précédente.

Déterminez si chaque ligne de données est dupliquée

is_duplicate = data.duplicate()

Afficher les éléments dupliqués

duplicated_data = data[is_duplicated]
print('Il y a %d doublons' % len(duplicated_data))

4. Supprimer les doublons

Maintenant que nous avons l'index des doublons, nous pouvons utiliser des expressions régulières pour supprimer les doublons. Ici, nous pouvons utiliser la sous-fonction de la bibliothèque re, qui peut remplacer quelque chose dans une chaîne basée sur une expression régulière.

Par exemple, si nous voulons supprimer les espaces supplémentaires dans une chaîne, nous pouvons utiliser l'expression régulière suivante :

pattern = r's+'
replacement = ' '

où pattern est un modèle d'expression régulière qui correspond aux espaces supplémentaires, qui est représenté par s+ Correspond à un ou plusieurs espaces ; le remplacement est le contenu à remplacer Ici, nous remplaçons les espaces supplémentaires par un espace.

Ensuite, nous appliquons ce modèle d'expression régulière à chaque colonne des données, en supprimant les doublons.

Définissez le modèle d'expression régulière pour supprimer les doublons

pattern = r's+'
replacement = ' '

Parcourez chaque colonne dans les données et supprimez les doublons

pour la col dans data.columns:

data[col] = data[col].apply(lambda x: re.sub(pattern, replacement, str(x)))

Après avoir terminé la déduplication, nous peut utiliser la fonction dupliquée pour vérifier à nouveau s'il y a des doublons dans les données afin de garantir l'exactitude de l'opération de déduplication.

Vérifiez à nouveau s'il y a des doublons dans les données

is_duplicate = data.duplicate()
if is_duplicate.any():

print('数据中仍存在重复项')

else:

print('数据中不存在重复项')

5. Écrivez les données traitées dans le fichier

Enfin, nous peut écrire les données traitées dans un fichier pour une utilisation ultérieure.

data.to_csv('processed_data.csv', index=False)

Résumé

L'expression régulière est un outil de traitement de texte très puissant qui peut être utilisé pour la correspondance, le remplacement et d'autres opérations de chaînes. Dans l'analyse et le prétraitement des données, l'utilisation d'expressions régulières pour supprimer les doublons est une méthode efficace et flexible. Cet article explique comment utiliser les expressions régulières Python pour supprimer les doublons. J'espère qu'il sera utile aux lecteurs.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!