Comment fusionner des DataFrames par condition de plage dans Pandas à l'aide de la diffusion Numpy ?

Fusionner des trames de données par condition de plage dans Pandas

Dans le domaine de l'analyse des données, la combinaison de données provenant de plusieurs sources est une tâche courante. Pandas, une puissante bibliothèque Python pour la manipulation de données, fournit diverses méthodes pour fusionner des trames de données, notamment une condition de plage. Cet article approfondit ce scénario spécifique et présente une solution efficace utilisant la diffusion numpy.

Description du problème

Étant donné deux trames de données, A et B, l'objectif est d'effectuer une jointure interne où les valeurs de la trame de données A se situent dans une plage spécifique définie dans la trame de données B. Traditionnellement, cela serait réalisé en utilisant la syntaxe SQL :

<code class="sql">SELECT *
FROM A, B
WHERE A_value BETWEEN B_low AND B_high</code>

Solutions existantes

Pandas propose une solution de contournement en utilisant des colonnes factices, en fusionnant sur la colonne factice, puis en filtrant les lignes inutiles. Cependant, cette méthode est lourde en calcul. Alternativement, on pourrait appliquer une fonction de recherche pour chaque valeur A sur B, mais cette approche présente également des inconvénients.

Diffusion Numpy : une approche pragmatique

La diffusion Numpy fournit un solution élégante et efficace. Cette technique exploite la vectorisation pour effectuer des calculs sur des tableaux entiers plutôt que sur des éléments individuels. Pour obtenir la fusion souhaitée :

1. Extraire les valeurs des dataframes A et B.

2. Utilisez la diffusion numpy pour créer un masque booléen :

   • A_value >= B_low
   • A_value <= B_high
3. Utilisez np.where de numpy pour localiser les indices où le masque est True.
4. Concaténer les lignes correspondantes des trames de données A et B en fonction des indices identifiés.

Cette approche utilise la diffusion pour effectuer la comparaison de plage sur l'ensemble de la trame de données A, réduisant considérablement le temps et la complexité de calcul.

Exemple

Considérez les dataframes suivantes :

<code class="python">A = pd.DataFrame(dict(
    A_id=range(10),
    A_value=range(5, 105, 10)
))
B = pd.DataFrame(dict(
    B_id=range(5),
    B_low=[0, 30, 30, 46, 84],
    B_high=[10, 40, 50, 54, 84]
))</code>

Sortie :

   A_id  A_value  B_high  B_id  B_low
0     0        5      10     0      0
1     3       35      40     1     30
2     3       35      50     2     30
3     4       45      50     2     30

Cette sortie démontre le succès fusion des trames de données A et B en fonction de la condition de plage spécifiée.

Considérations supplémentaires

Pour effectuer une jointure à gauche, incluez les lignes sans correspondance de la trame de données A dans la sortie. Ceci peut être réalisé en utilisant ~np.in1d ​​de numpy pour identifier les lignes sans correspondance et en les ajoutant au résultat.

En conclusion, la diffusion numpy offre une approche robuste et efficace pour fusionner des trames de données en fonction des conditions de plage. Ses capacités de vectorisation améliorent les performances, ce qui en fait une solution idéale pour les grands ensembles de données.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!