Python を使用した MapReduce ジョブの作成
- 高洛峰オリジナル
- 2016-10-18 10:28:521380ブラウズ
mrjob を使用すると、Python 2.5 以降で MapReduce ジョブを作成し、複数の異なるプラットフォームで実行できます。
純粋な Python を使用してマルチステップ MapReduce ジョブを作成する
ローカル マシンでテストする
Hadoop クラスター上で実行する
Amazon Elastic MapReduce (EMR) を使用してクラウド上で実行します
pip のインストール方法は非常に簡単で、設定は必要なく、直接実行します: pip install mrjob
コード例:
from mrjob.job import MRJob
class MRWordCounter(MRJob):
def mapper(self, key, line):
for word in line.split():
yield word, 1
def reducer(self, word, occurrences):
yield word, sum(occurrences)
if __name__ == '__main__':
MRWordCounter.run()声明：
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。