cari
RumahJavajavaTutorialKenapa ia melaporkan kesilapan ketika mengemukakan pekerjaan pyfliin di benang?

Kenapa ia melaporkan kesilapan ketika mengemukakan pekerjaan pyfliin di benang?

Apr 19, 2025 pm 02:06 PM
pythonapachePenyelesaianskrip pythonkenapa

Kenapa ia melaporkan kesilapan ketika mengemukakan pekerjaan pyfliin di benang?

Penyerahan Pekerja

Apabila mengemukakan pekerjaan PyFliink menggunakan benang, anda mungkin menghadapi ralat di mana skrip Python tidak dijumpai, seperti:

 <code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>

Ini biasanya berlaku apabila menggunakan arahan berikut:

 ./flink Run-Application -t Benang-Application \
-dyarn.application.name = Flinkcdctestpython \
-dyarn.provided.lib.dirs = "hdfs: // nameservice1/pyflink/flink-dist-181" \
-Pyarch hdfs: //nameservice1/pyfliink/pyfliink181.zip \
-pyclientexec pyfliink181.zip/pyfliink181/bin/python \
-pyexec pyfliink181.zip/pyfliink181/bin/python \
-py hdfs: //nameservice1/pyflink/wc2.py

Sebaliknya, penyerahan pekerjaan Java biasanya tidak menghadapi masalah:

 ./flink Run-Application -t Benang-Application \
-djobmanager.memory.process.size = 1024m \
-dtaskmanager.memory.process.size = 1024m \
-dyarn.application.name = Flinkcdctest \
-dyarn.provided.lib.dirs = "hdfs: // nameservice1/pyflink/flink-dist-181" \
hdfs: //nameservice1/pyflink/statemachineexample.jar

Pekerjaan Java berjaya diserahkan, menunjukkan bahawa konfigurasi HDFS adalah betul. Masalahnya ialah laluan skrip Python atau konfigurasi pekerjaan Pyfliink.

Langkah penyelesaian masalah dan penyelesaian

  1. Sahkan Laluan Skrip Python: Gunakan hdfs dfs -ls hdfs://nameservice1/pyflink/wc2.py wc2.py Jika ia tidak wujud, pastikan skrip dimuat naik ke jalan dengan betul.

  2. Semak Konfigurasi PyFliink: Periksa semula parameter -pyarch , -pyclientexec dan -pyexec parameter untuk memastikan mereka menunjuk tepat kepada persekitaran PyFliink dan penterjemah Python. pyflink181.zip mesti mengandungi semua perpustakaan python yang diperlukan dan persekitaran pelaksanaan.

  3. Isu Kebenaran: Gunakan hdfs dfs -ls -h hdfs://nameservice1/pyflink/wc2.py untuk melihat kebenaran HDFS skrip. Sekiranya kebenaran tidak mencukupi, gunakan hdfs dfs -chmod 755 hdfs://nameservice1/pyflink/wc2.py untuk mengubahsuai keizinan untuk memastikan pengguna benang dan flink telah membaca kebenaran.

  4. Analisis log: Dayakan pembalakan terperinci flink dan benang, menganalisis log ralat untuk maklumat ralat yang lebih spesifik dan di mana ia berlaku.

  5. Keserasian Alam Sekitar Python: Pastikan versi Python yang digunakan oleh PyFliink selaras dengan versi yang digunakan semasa membangunkan skrip, dan mengelakkan versi yang tidak serasi yang menyebabkan skrip tidak diiktiraf atau dilaksanakan.

Melalui langkah -langkah di atas, masalah penyelesaian masalah secara sistematik dan menyesuaikan konfigurasi mengikut keadaan sebenar, anda dapat menyelesaikan masalah yang skrip Python tidak dapat dijumpai apabila kerja Pyflik diserahkan pada benang. Sekiranya masalah berterusan, berikan maklumat log yang lebih terperinci dan benang untuk analisis lanjut.

Atas ialah kandungan terperinci Kenapa ia melaporkan kesilapan ketika mengemukakan pekerjaan pyfliin di benang?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Bagaimanakah pengkomputeran awan mempengaruhi kepentingan kemerdekaan platform Java?Bagaimanakah pengkomputeran awan mempengaruhi kepentingan kemerdekaan platform Java?Apr 22, 2025 pm 07:05 PM

Pengkomputeran awan dengan ketara meningkatkan kemerdekaan platform Java. 1) Kod Java dikumpulkan ke dalam bytecode dan dilaksanakan oleh JVM pada sistem operasi yang berbeza untuk memastikan operasi silang platform. 2) Gunakan Docker dan Kubernet untuk menggunakan aplikasi Java untuk meningkatkan kebolehgunaan dan skalabiliti.

Apakah peranan yang dimainkan oleh kemerdekaan platform Java dalam penggunaannya yang meluas?Apakah peranan yang dimainkan oleh kemerdekaan platform Java dalam penggunaannya yang meluas?Apr 22, 2025 pm 06:53 PM

Java'splatformindependenceallowsdeveloperstowritecodeonceandrunitonanydeviceorOSwithaJVM.Thisisachievedthroughcompilingtobytecode,whichtheJVMinterpretsorcompilesatruntime.ThisfeaturehassignificantlyboostedJava'sadoptionduetocross-platformdeployment,s

Bagaimanakah teknologi kontena (seperti Docker) mempengaruhi kepentingan kemerdekaan platform Java?Bagaimanakah teknologi kontena (seperti Docker) mempengaruhi kepentingan kemerdekaan platform Java?Apr 22, 2025 pm 06:49 PM

Teknologi kontena seperti Docker meningkatkan daripada menggantikan kemerdekaan platform Java. 1) Memastikan konsistensi di seluruh persekitaran, 2) Menguruskan kebergantungan, termasuk versi JVM tertentu, 3) memudahkan proses penempatan untuk menjadikan aplikasi Java lebih mudah disesuaikan dan boleh diurus.

Apakah komponen utama Java Runtime Environment (JRE)?Apakah komponen utama Java Runtime Environment (JRE)?Apr 22, 2025 pm 06:33 PM

JRE adalah persekitaran di mana aplikasi Java dijalankan, dan fungsinya adalah untuk membolehkan program Java dijalankan pada sistem operasi yang berbeza tanpa mengulang semula. Prinsip kerja JRE termasuk JVM yang melaksanakan bytecode, perpustakaan kelas menyediakan kelas dan kaedah yang telah ditetapkan, fail konfigurasi dan fail sumber untuk menubuhkan persekitaran yang sedang berjalan.

Terangkan bagaimana JVM mengendalikan pengurusan memori, tanpa mengira sistem operasi yang mendasari.Terangkan bagaimana JVM mengendalikan pengurusan memori, tanpa mengira sistem operasi yang mendasari.Apr 22, 2025 pm 05:45 PM

JVM memastikan program Java yang cekap dijalankan melalui pengurusan memori automatik dan koleksi sampah. 1) Peruntukan Memori: Peruntukkan memori dalam timbunan untuk objek baru. 2) Kiraan Rujukan: Rujukan objek trek dan mengesan sampah. 3) Kitar Semula Sampah: Gunakan algoritma tag-jelas, tag-tidy atau salinan untuk mengitar semula objek yang tidak lagi dirujuk.

Bagaimanakah Idea IntelliJ mengenal pasti nombor port projek boot musim bunga tanpa mengeluarkan log?Bagaimanakah Idea IntelliJ mengenal pasti nombor port projek boot musim bunga tanpa mengeluarkan log?Apr 19, 2025 pm 11:45 PM

Mula musim bunga menggunakan versi IntelliJideaultimate ...

Bagaimana dengan elegan mendapatkan nama pemboleh ubah kelas entiti untuk membina keadaan pertanyaan pangkalan data?Bagaimana dengan elegan mendapatkan nama pemboleh ubah kelas entiti untuk membina keadaan pertanyaan pangkalan data?Apr 19, 2025 pm 11:42 PM

Apabila menggunakan Mybatis-Plus atau Rangka Kerja ORM yang lain untuk operasi pangkalan data, sering diperlukan untuk membina syarat pertanyaan berdasarkan nama atribut kelas entiti. Sekiranya anda secara manual setiap kali ...

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Alat panas

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

Persekitaran pembangunan bersepadu PHP yang berkuasa

mPDF

mPDF

mPDF ialah perpustakaan PHP yang boleh menjana fail PDF daripada HTML yang dikodkan UTF-8. Pengarang asal, Ian Back, menulis mPDF untuk mengeluarkan fail PDF "dengan cepat" dari tapak webnya dan mengendalikan bahasa yang berbeza. Ia lebih perlahan dan menghasilkan fail yang lebih besar apabila menggunakan fon Unicode daripada skrip asal seperti HTML2FPDF, tetapi menyokong gaya CSS dsb. dan mempunyai banyak peningkatan. Menyokong hampir semua bahasa, termasuk RTL (Arab dan Ibrani) dan CJK (Cina, Jepun dan Korea). Menyokong elemen peringkat blok bersarang (seperti P, DIV),

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

PhpStorm versi Mac

PhpStorm versi Mac

Alat pembangunan bersepadu PHP profesional terkini (2018.2.1).

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual