Comment résoudre le problème que Flink ne peut pas trouver le script de tâche Python lors de la soumission de l'application Pyflink à l'application de fils?

Solution aux scripts Python introuvables lorsque Flink soumet un travail de pyflink en fil

Lors de la soumission des travaux Pyflink à un fil à l'aide de Flink, si vous rencontrez une erreur dans laquelle le script Python ne peut pas être trouvé, il est généralement causé par une erreur de configuration de chemin de script Python ou un problème de paramètre d'environnement Python. Cet article analyse et résout ce problème.

Vous avez soumis un travail Pyflink en utilisant la commande suivante:

 ./flink run-application -t yarn-application \
-Dyarn.Application.Name = FlinkcdCTestpython \
-Dyarn.Provided.lib.Dirs = "HDFS: // Namesservice1 / Pyflink / Flink-Dist-181" \
-pyarch hdfs: //nameservice1/pyflink/pyflink181.zip \
-pyclientexec pyflink181.zip/pyflink181/bin/python \
-pyexec pyflink181.zip/pyflink181/bin/python \
-py hdfs: //nameservice1/pyflink/wc2.py

Le message d'erreur est le suivant:

 <code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>

Cette erreur indique que Flink ne peut pas trouver le script Python spécifié wc2.py Cependant, la configuration HDFS est normale lors de la soumission du travail Java, ce qui signifie qu'il n'y a pas de problème avec la configuration HDFS elle-même.

Les problèmes peuvent résider dans les aspects suivants:

1. Path de script Python: Double vérifiez si le chemin hdfs://nameservice1/pyflink/wc2.py est correct et si le fichier wc2.py existe sous ce chemin. Vérifiez l'utilisation de la commande HDFS:

    hdfs dfs -ls hdfs: //nameservice1/pyflink/wc2.py

2. Configuration de l'environnement Python: -pyclientexec et -pyexec spécifient l'environnement d'exécution Python. Assurez-vous que l'environnement Python dans pyflink181.zip est configuré correctement et a accès à HDFS. Il est recommandé de pointer directement les paramètres vers le chemin d'environnement Python sur HDFS:

    -PycLIenExec hdfs: //nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python
   -pyexec hdfs: //nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python

3. Problème des autorisations: assurez-vous que le travail Flink a la permission d'accéder aux fichiers de script Python sur HDFS. Vérifiez les autorisations de fichier:

    hdfs dfs -ls -h hdfs: //nameservice1/pyflink/wc2.py

4. Compatibilité de la version Flink et Pyflink: Confirmer que la version Flink est compatible avec la version Pyflink. L'inadéquation de la version peut causer des problèmes.

Grâce aux étapes ci-dessus, vous devriez être en mesure de trouver et de résoudre le problème que Flink ne peut pas trouver le script Python lors de la soumission des travaux Pyflink. Si le problème persiste, vérifiez les fichiers journaux de Flink et Pyflink pour plus d'indices.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!