PyflinkジョブをYARNアプリケーションに送信するときに、FlinkがPythonタスクスクリプトを見つけることができない問題を解決する方法は？

FlinkがPyflinkのジョブを糸に提出するときに見つからないPythonスクリプトの解決策

Flinkを使用してPyflinkジョブをYarnに送信する場合、Pythonスクリプトが見つからないエラーが発生した場合、通常、Pythonスクリプトパス構成エラーまたはPython環境設定の問題によって引き起こされます。この記事では、この問題を分析して解決します。

次のコマンドを使用して、Pyflinkジョブを提出しました。

 ./flink run-application -t yarn-application \
-dyarn.application.name = flinkcdctestpython \
-dyarn.provided.lib.dirs = "hdfs：// nameservice1/pyflink/flink-dist-181" \
-pyarch hdfs：//nameservice1/pyflink/pyflink181.zip \
-pycyientexec pyflink181.zip/pyflink181/bin/python \
-pyexec pyflink181.zip/pyflink181/bin/python \
-py hdfs：//nameservice1/pyflink/wc2.py

エラーメッセージは次のとおりです。

 <code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>

このエラーは、Flinkが指定されたPythonスクリプトwc2.pyを見つけることができないことを示しています。ただし、Javaジョブを送信するときはHDFS構成が正常です。つまり、HDFS構成自体に問題はありません。

問題は次の側面にある可能性があります。

1. Pythonスクリプトパス： hdfs://nameservice1/pyflink/wc2.pyパスが正しいかどうか、およびこのパスの下にwc2.pyファイルが存在するかどうかを再確認してください。 HDFSコマンドを使用して確認してください。

    HDFS DFS -LS HDFS：//NAMESERVICE1/PYFLINK/wc2.py

2. Python環境構成： -pyclientexecおよび-pyexecパラメータは、python実行環境を指定します。 pyflink181.zipのPython環境が正しく構成されており、HDFSにアクセスできることを確認してください。パラメーターをHDFSのPython環境パスに直接指すことをお勧めします。

    -pyclientexec hdfs：//nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python
   -pyexec hdfs：//nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python

3. 権限の問題： FlinkジョブがHDFSでPythonスクリプトファイルにアクセスする許可があることを確認してください。ファイルの許可を確認してください：

    HDFS DFS -LS -H HDFS：//NAMESERVICE1/PYFLINK/wc2.py

4. FlinkおよびPyflinkバージョンの互換性： FlinkバージョンがPyflinkバージョンと互換性があることを確認します。バージョンの不一致は問題を引き起こす可能性があります。

上記の手順を通じて、Pyflinkジョブを送信する際にFlinkがPythonスクリプトを見つけることができない問題を見つけて解決できるはずです。問題が続く場合は、FlinkとPyflinkのログファイルをチェックして、その他の手がかりを確認してください。

以上がPyflinkジョブをYARNアプリケーションに送信するときに、FlinkがPythonタスクスクリプトを見つけることができない問題を解決する方法は？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。