Spark は Python を実行できますか?

#Spark は Python を実行できますか?

spark は Python プログラムを実行できます。 Python で書かれたアルゴリズムや sklearn などの拡張ライブラリは、Spark 上で実行できます。ほとんどのアルゴリズムで利用できる Spark の mllib を直接使用することもできます。

Spark は、SQL クエリ、テキスト処理、機械学習などのさまざまな操作を実行するために使用できる汎用エンジンです。

この実験は、Spark 環境を備えた Linux で実行されました。Spark のバージョンは 1.6.1 で、Spark でローカルに実行するのと同じです。Spark ファイルは /opt/moudles/spark-1.6 に配置されます。 1/ (コード内に表示されます)

Python テスト プログラムを作成します

#test.py文件
# -*- coding:utf-8 -*-
import os
import sys
#配置环境变量并导入pyspark
os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'
sys.path.append("/opt/moudles/spark-1.6.1/python")
sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")
from pyspark import SparkContext, SparkConf
appName ="spark_1" #应用程序名称
master= "spark://hadoop01:7077"#hadoop01为主节点hostname，请换成自己的主节点主机名称
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
print("===========================================")
print (res)
print("===========================================")

Python プログラムを実行します

次のコマンドを実行します

python test.py

実行と結果は次の図に示すとおりです。

以上がSpark は Python を実行できますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。