JavaはPython Sparkプログラムを呼び出して立ち往生します：Runtime.getRuntime（）。exec（）ブロッキングの問題を解決する方法？

Javaコールに貼り付けられたPythonコードの分析とソリューション

Javaを使用してPythonコードを呼び出す過程で、プログラムが行き詰まって実行を続けることができないなど、いくつかの困難な問題に遭遇することがよくあります。この記事では、特定のケースを分析し、対応するソリューションを提供します。

問題の説明：開発者はJavaのRuntime.getRuntime（）。exec（）メソッドを使用してPythonスクリプトを実行し、Pythonスクリプトはデータ処理にSparkを使用します。 Java側では、Pythonスクリプトの出力はプロセスオブジェクトを介して取得されますが、Pythonスクリプトがsorted_word_count.take（20）に実行された後、Javaサイドプログラムは立ち往生しており、実行を継続できません。

Pythonスクリプトコードは次のとおりです。

 Spark = sparks.builder.appname（ "java backend"を読む "）。マスター（" local [*] "）。getorcreate（）;

＃渡されたパラメーターコメントを取得= sys.argv [1]

＃JSON文字列をPythonオブジェクトに変換するコメント= json.loads（コメント）

＃コメントリストをRDDに変換します
comment_rdd = spark.sparkcontext.parallelize（comment）

＃RDDをデータフレームに変換します
df = spark.createdataframe（comment_rdd.map（lambda x：row（** x）））

＃ストップワードライブラリSTOP_WORDS = SPARK.SPARKCONTEXT.TEXTFILE（ "c：/users/10421/downloads/baidu_stopwords.txt"）。collect（）をロードする

＃...（ここではいくつかのコードが省略されています）...

＃各単語の発生数を計算しますword_count = df.rdd.map（lambda x：（x.word、1））。
sorted_word_count = word_count.sortby（lambda x：x [1]、ascending = false）
top_20_words = sorted_word_count.take（20）
列= 0
top_20_wordsの列の場合：
    印刷（行[列]）

Javaコードスニペットは次のとおりです。

プロセスプロセス= runtime.getRuntime（）。exec（args1）;

//プログラムの実行結果inputstream inputstream = process.getInputStream（）;
BufferedReader Reader = new BufferedReader（new inputstreamReader（inputStream、 "gb2312"））;
// ...（ここではいくつかのコードが省略されています）...

問題の分析：テスト後、Javaプログラムが立ち往生した理由は、Pythonスクリプトのコードsorted_word_count.take（20）の実行であることがわかりました。コードのこの部分は、Spark Processingが完了して結果を返すまでブロックされます。 Process.getInputStream（）がブロックしているため、Pythonプログラムの出力が時間内に標準出力ストリームに出力されない場合、Javaプログラムはそれを待って、停止します。

解決策：問題は、キャラクターエンコーディングに最も可能性が高いです。元のコードでは、GB2312エンコーディングを使用してPythonの出力を読み取ります。これは、Pythonスクリプトの出力エンコードと矛盾している可能性があり、データの読み取り閉塞を引き起こします。 Javaコードを変更し、UTF-8エンコードを使用してPythonの出力を読み取ると、この問題を解決できます。

変更されたJavaコード：

 BufferedReader Reader = new BufferedReader（new inputstreamReader（inputStream、 "utf-8"））;
BufferedReader reader2 = new BufferedReader（new inputStreamReader（errorStream、 "utf-8"））;

読み取り入力ストリームのエンコードとJavaコードのエラーストリームをUTF-8に変更することにより、Javaプログラムの問題を解決できます。 Pythonスクリプトは、UTF-8を使用して出力がエンコードされていることを確認する必要があることに注意してください。問題が続く場合は、Sparkジョブの実行効率と、Pythonスクリプトに他の潜在的なブロッキング操作があるかどうかをさらに確認する必要があります。

以上がJavaはPython Sparkプログラムを呼び出して立ち往生します：Runtime.getRuntime（）。exec（）ブロッキングの問題を解決する方法？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。