Mise à niveau de la version Python pour votre environnement Microsoft Fabric

J'ai récemment été bloqué en essayant de réexécuter un notebook Python dans Fabric à l'aide du package Azure Event Hub pour télécharger des données vers une base de données KQL. Le script, qui fonctionnait correctement depuis des mois, a soudainement cessé de fonctionner après un changement ou une mise à jour de l'environnement.

Le premier problème auquel j'ai été confronté était le suivant lors de l'installation du package sur mon ordinateur portable.

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed

Cette erreur indique que les dépendances du package sont en conflit, ce qui se produit souvent en raison d'incompatibilités de versions de l'environnement Python ou de dépendances mal alignées.

Lorsque j'ai essayé d'importer le package, j'ai pu voir que l'environnement était défini sur 3.10 (voir ci-dessous).
Et en essayant de créer mon propre environnement, je n'ai pas non plus trouvé le package pypi azure-eventhub (voir ici).

Finalement, j'ai essayé de comprendre comment mettre à niveau l'environnement Python, et avec l'aide d'un ami, j'ai pu le faire.

La solution consistait à mettre à niveau l'environnement PySpark.
Il a résolu le problème en mettant à jour le runtime Python vers une version compatible avec le package azure-eventhub. Le passage à Spark Runtime 1.3 a mis à jour Python vers la version 3.11.x, résolvant ainsi les conflits de dépendances.

Comment changer le Spark Runtime en 1.3

1. Accédez aux paramètres de l'espace de travail.
   

2. Sélectionnez le moteur d'exécution approprié dans la liste déroulante.
   

3. Enregistrez et redémarrez votre bloc-notes.

Validation de la mise à niveau de l'environnement

Maintenant que les modifications ont été appliquées, créez un nouveau notebook en vous assurant que l'environnement sélectionné utilise Spark Runtime 1.3.

# Check if the environment upgrade was successful
import azure.eventhub
print("Environment setup successful!")

Conclusion

La mise à niveau de l'environnement Python dans Fabric en modifiant le runtime Spark a résolu les conflits de dépendances auxquels j'ai été confronté avec le package azure-eventhub. Si vous rencontrez des problèmes similaires, l’ajustement de la version d’exécution peut être une solution rapide. Pensez à valider vos modifications et à tester votre script pour vous assurer que tout fonctionne correctement.

Remarque : j'ai ensuite trouvé une note sur mon problème dans certains supports de formation, qui avait été ma première solution sans le paramètre --force. Cela peut être une meilleure solution pour vous si vous devez conserver le Spark Runtime inchangé https://github.com/microsoft/FabricRTA-in-a-Day/blob/main/Lab3.md#steps

Références :

• https://learn.microsoft.com/en-us/fabric/data-engineering/runtime
• https://pypi.org/project/azure-eventhub/
• https://github.com/Azure/azure-sdk-for-python/blob/main/sdk/eventhub/azure-eventhub/azure/eventhub/_producer_client.py

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!