원사 응용 프로그램에 pyflink 작업을 제출할 때 Flink가 Python 작업 스크립트를 찾을 수없는 문제를 해결하는 방법은 무엇입니까?

Flink가 Pyflink 작업을 원사에 제출할 때 찾을 수없는 파이썬 스크립트에 대한 솔루션

Flink를 사용하여 Pyflink 작업을 원사에 제출할 때 Python 스크립트를 찾을 수없는 오류가 발생하면 일반적으로 Python 스크립트 경로 구성 오류 또는 Python 환경 설정 문제로 인해 발생합니다. 이 기사는이 문제를 분석하고 해결합니다.

다음 명령을 사용하여 pyflink 작업을 제출했습니다.

 ./flink run-application -t 원사-애플리케이션 \
-dyarn.application.name = flinkcdctestpython \
-dyarn.provided.lib.dirs = "hdfs : // nameservice1/pyflink/flink-dist-181"\
--pyarch hdfs : //nameservice1/pyflink/pyflink181.zip \
-pyclientExec pyflink181.zip/pyflink181/bin/python \
-pyexec pyflink181.zip/pyflink181/bin/python \
--py hdfs : //nameservice1/pyflink/wc2.py

오류 메시지는 다음과 같습니다.

 <code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>

이 오류는 Flink가 지정된 Python 스크립트 wc2.py 찾을 수 없음을 나타냅니다. 그러나 Java 작업을 제출할 때 HDFS 구성은 정상입니다. 즉, HDFS 구성 자체에 아무런 문제가 없습니다.

문제는 다음과 같은 측면에있을 수 있습니다.

1. Python 스크립트 경로 : hdfs://nameservice1/pyflink/wc2.py 경로가 올바른지, wc2.py 파일 이이 경로에서 존재하는지 여부를 두 번 확인하십시오. HDFS 명령을 사용하여 확인하십시오.

    hdfs dfs -ls hdfs : //nameservice1/pyflink/wc2.py

2. 파이썬 환경 구성 : -pyclientexec 및 -pyexec 매개 변수는 Python 실행 환경을 지정합니다. pyflink181.zip 의 Python 환경이 올바르게 구성되어 있고 HDF에 액세스 할 수 있는지 확인하십시오. HDFS의 파이썬 환경 경로에 매개 변수를 직접 가리키는 것이 좋습니다.

    -pyclientexec hdfs : //nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python
   -pyexec hdfs : //nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python

3. 권한 문제 : Flink 작업에 HDF에서 Python 스크립트 파일에 액세스 할 수있는 권한이 있는지 확인하십시오. 파일 권한 확인 :

    hdfs dfs -ls -h hdfs : //nameservice1/pyflink/wc2.py

4. Flink 및 Pyflink 버전 호환성 : Flink 버전이 Pyflink 버전과 호환되는지 확인합니다. 버전 불일치는 문제를 일으킬 수 있습니다.

위의 단계를 통해 Pyflink 작업을 제출할 때 Flink가 Python 스크립트를 찾을 수없는 문제를 찾고 해결할 수 있어야합니다. 문제가 지속되면 더 많은 단서를 위해 Flink 및 Pyflink의 로그 파일을 확인하십시오.

위 내용은 원사 응용 프로그램에 pyflink 작업을 제출할 때 Flink가 Python 작업 스크립트를 찾을 수없는 문제를 해결하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!