Bagaimana untuk menyelesaikan masalah yang Flink tidak dapat mencari skrip tugas python ketika mengemukakan pekerjaan pyfliink ke permohonan benang?

Penyelesaian kepada skrip python tidak dijumpai apabila Flink mengemukakan pekerjaan pyfliin ke benang

Apabila mengemukakan pekerjaan PyFliink ke benang menggunakan Flink, jika anda menghadapi ralat di mana skrip Python tidak dapat dijumpai, biasanya disebabkan oleh ralat konfigurasi laluan skrip Python atau masalah penetapan persekitaran Python. Artikel ini menganalisis dan menyelesaikan masalah ini.

Anda mengemukakan pekerjaan PyFliink menggunakan arahan berikut:

 ./flink Run-Application -t Benang-Application \
-dyarn.application.name = Flinkcdctestpython \
-dyarn.provided.lib.dirs = "hdfs: // nameservice1/pyflink/flink-dist-181" \
-Pyarch hdfs: //nameservice1/pyfliink/pyfliink181.zip \
-pyclientexec pyfliink181.zip/pyfliink181/bin/python \
-pyexec pyfliink181.zip/pyfliink181/bin/python \
-py hdfs: //nameservice1/pyflink/wc2.py

Mesej ralat adalah seperti berikut:

 <code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>

Kesalahan ini menunjukkan bahawa Flink tidak dapat mencari skrip Python yang ditentukan wc2.py Walau bagaimanapun, konfigurasi HDFS adalah normal apabila mengemukakan pekerjaan Java, yang bermaksud tidak ada masalah dengan konfigurasi HDFS itu sendiri.

Masalahnya mungkin terletak pada aspek berikut:

1. Laluan Skrip Python: Semak semula sama ada hdfs://nameservice1/pyflink/wc2.py adalah betul dan sama ada fail wc2.py wujud di bawah laluan ini. Sahkan menggunakan arahan HDFS:

    hdfs dfs -ls hdfs: //nameservice1/pyflink/wc2.py

2. Konfigurasi Alam Sekitar Python: Parameter -pyclientexec dan -pyexec Parameter menentukan persekitaran pelaksanaan Python. Pastikan persekitaran Python di pyflink181.zip dikonfigurasi dengan betul dan mempunyai akses kepada HDFS. Adalah disyorkan untuk menunjukkan parameter terus ke laluan persekitaran Python pada HDFS:

    -pyclientexec hdfs: //nameservice1/pyflink/pyflink181.zip/pyfliink181/bin/python
   -pyexec hdfs: //nameservice1/pyflink/pyfliink181.zip/pyfliink181/bin/python

3. Isu Kebenaran: Pastikan kerja Flink mempunyai kebenaran untuk mengakses fail skrip Python pada HDFS. Semak Kebenaran Fail:

    hdfs dfs -ls -h hdfs: //nameservice1/pyflink/wc2.py

4. Keserasian Versi Flink dan PyFliin: Sahkan versi Flink bersesuaian dengan versi PyFliink. Mismatch versi boleh menyebabkan masalah.

Melalui langkah -langkah di atas, anda harus dapat mencari dan menyelesaikan masalah yang Flink tidak dapat mencari skrip Python ketika mengemukakan pekerjaan PyFliink. Jika masalah berterusan, periksa fail log FLINK dan PYFLINK untuk lebih banyak petunjuk.

Atas ialah kandungan terperinci Bagaimana untuk menyelesaikan masalah yang Flink tidak dapat mencari skrip tugas python ketika mengemukakan pekerjaan pyfliink ke permohonan benang?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!