원사에 pyflink 작업을 제출할 때 오류를보고하는 이유는 무엇입니까?

Pyflink 작업 제출 실패 실패 : 누락 된 파이썬 스크립트 및 솔루션의 원인 분석

원사를 사용하여 pyflink 작업을 제출할 때는 Python 스크립트를 찾을 수없는 오류가 발생할 수 있습니다.

 <code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>

일반적으로 다음 명령을 사용할 때 발생합니다.

 ./flink run-application -t 원사-애플리케이션 \
-dyarn.application.name = flinkcdctestpython \
-dyarn.provided.lib.dirs = "hdfs : // nameservice1/pyflink/flink-dist-181"\
--pyarch hdfs : //nameservice1/pyflink/pyflink181.zip \
-pyclientExec pyflink181.zip/pyflink181/bin/python \
-pyexec pyflink181.zip/pyflink181/bin/python \
--py hdfs : //nameservice1/pyflink/wc2.py

대조적으로, Java 직업 제출은 일반적으로 문제가 없습니다.

 ./flink run-application -t 원사-애플리케이션 \
-djobmanager.memory.process.size = 1024m \
-dtaskmanager.memory.process.size = 1024m \
-dyarn.application.name = flinkcdctest \
-dyarn.provided.lib.dirs = "hdfs : // nameservice1/pyflink/flink-dist-181"\
hdfs : //nameservice1/pyflink/statemachineexample.jar

Java 작업이 성공적으로 제출되었으며 HDFS 구성이 올바른 것으로 나타났습니다. 문제는 파이썬 스크립트 경로 또는 pyflink 작업의 구성입니다.

문제 해결 및 해결 단계

1. 파이썬 스크립트 경로 확인 : hdfs dfs -ls hdfs://nameservice1/pyflink/wc2.py 명령을 사용하여 스크립트 wc2.py 지정된 HDFS 경로에 존재하는지 확인하십시오. 존재하지 않는 경우 스크립트가 경로에 올바르게 업로드되어 있는지 확인하십시오.

2. pyflink 구성을 확인하십시오. -pyarch , -pyclientexec 및 -pyexec 매개 변수를 두 번 확인하여 Pyflink 환경과 Python 통역사를 정확히 지적하는지 확인하십시오. pyflink181.zip 에는 필요한 모든 Python 라이브러리 및 실행 환경이 포함되어야합니다.

3. 권한 문제 : hdfs dfs -ls -h hdfs://nameservice1/pyflink/wc2.py 사용하여 스크립트의 HDFS 권한을보십시오. 권한이 충분하지 않은 경우 hdfs dfs -chmod 755 hdfs://nameservice1/pyflink/wc2.py 사용하여 YARN 및 FLINK 사용자가 읽기 권한을 갖도록 권한을 수정하십시오.

4. 로그 분석 : 플링크 및 원사의 자세한 로깅을 활성화하고보다 구체적인 오류 정보와 발생 위치에 대한 오류 로그를 분석하십시오.

5. Python Environment 호환성 : PyFlink에서 사용하는 Python 버전이 스크립트를 개발할 때 사용되는 버전과 일치하고 스크립트를 인식하지 못하거나 실행하게하는 호환되지 않는 버전을 피하십시오.

위의 단계를 통해 실제 상황에 따라 문제를 체계적으로 문제 해결하고 구성을 조정하면 Pyflink 작업이 원사에 제출 될 때 Python 스크립트를 찾을 수없는 문제를 해결할 수 있습니다. 문제가 지속되면 추가 분석을 위해보다 상세한 플링크 및 원사 로그 정보를 제공하십시오.

위 내용은 원사에 pyflink 작업을 제출할 때 오류를보고하는 이유는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!