Pourquoi signale-t-il une erreur lors de la soumission d'un travail de pyflink sur le fil?

La soumission de travail Pyflink a échoué sur le fil: analyse des causes des scripts et solutions Python manquants

Lors de la soumission d'un travail pyflink à l'aide du fil, vous pouvez rencontrer une erreur dans laquelle le script Python n'est pas trouvé, tel que:

 <code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>

Cela se produit généralement lorsque vous utilisez les commandes suivantes:

 ./flink run-application -t yarn-application \
-Dyarn.Application.Name = FlinkcdCTestpython \
-Dyarn.Provided.lib.Dirs = "HDFS: // Namesservice1 / Pyflink / Flink-Dist-181" \
-pyarch hdfs: //nameservice1/pyflink/pyflink181.zip \
-pyclientexec pyflink181.zip/pyflink181/bin/python \
-pyexec pyflink181.zip/pyflink181/bin/python \
-py hdfs: //nameservice1/pyflink/wc2.py

En revanche, la soumission de Java n'a généralement pas de problèmes:

 ./flink run-application -t yarn-application \
-djobmanager.memory.process.size = 1024m \
-dtaskmanager.memory.process.size = 1024m \
-Dyarn.Application.Name = FlinkCDCTEST \
-Dyarn.Provided.lib.Dirs = "HDFS: // Namesservice1 / Pyflink / Flink-Dist-181" \
hdfs: //nameservice1/pyflink/statemachineexample.jar

Le travail Java a été soumis avec succès, indiquant que la configuration HDFS est correcte. Le problème est le chemin de script Python ou la configuration du travail Pyflink.

Étapes de dépannage et de résolution

1. Vérifiez le chemin de script Python: utilisez hdfs dfs -ls hdfs://nameservice1/pyflink/wc2.py pour vérifier si le script wc2.py existe dans le chemin HDFS spécifié. S'il n'existe pas, assurez-vous que le script est téléchargé correctement sur le chemin.

2. Vérifiez la configuration de Pyflink: Double-vérifiez -pyarch , -pyclientexec et -pyexec pour s'assurer qu'ils pointent exactement vers l'environnement Pyflink et l'interpréteur Python. pyflink181.zip doit contenir toutes les bibliothèques Python et les environnements d'exécution nécessaires.

3. Problème des autorisations: Utilisez hdfs dfs -ls -h hdfs://nameservice1/pyflink/wc2.py pour afficher les autorisations HDFS du script. Si les autorisations sont insuffisantes, utilisez hdfs dfs -chmod 755 hdfs://nameservice1/pyflink/wc2.py pour modifier les autorisations pour garantir que les utilisateurs de fil et de Flink ont ​​lu les autorisations.

4. Analyse du journal: activer la journalisation détaillée de Flink et du fil, analyser les journaux d'erreur pour des informations d'erreur plus spécifiques et où elle se produit.

5. Compatibilité de l'environnement Python: assurez-vous que la version Python utilisée par Pyflink est cohérente avec la version utilisée lors du développement de scripts et évitez les versions incompatibles qui provoquent le non-reconnu ou l'exécution du script.

Grâce aux étapes ci-dessus, dépannage systématiquement le problème et ajustant la configuration en fonction de la situation réelle, vous pouvez résoudre le problème que le script Python ne peut être trouvé lorsque le travail Pyflink est soumis sur le fil. Si le problème persiste, fournissez des informations de journal de flux et de fil plus détaillées pour une analyse plus approfondie.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!