apache spark是什么-Apache-PHP中文网

首页

运维

Apache

apache spark是什么

藏色散人

Jun 11, 2019 pm 01:47 PM

apache spark

apache spark是什么

Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。

Spark在存储器内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spark也能快上10倍速度。Spark允许用户将数据加载至集群存储器，并多次对其进行查询，非常适合用于机器学习算法。

使用Spark需要搭配集群管理员和分布式存储系统。Spark支持独立模式（本地Spark集群）、Hadoop YARN或Apache Mesos的集群管理。

在分布式存储方面，Spark可以和HDFS、 Cassandra、OpenStack Swift和Amazon S3等接口搭载。 Spark也支持伪分布式（pseudo-distributed）本地模式，不过通常只用于开发或测试时以本机文件系统取代分布式存储系统。在这样的情况下，Spark仅在一台机器上使用每个CPU核心运行程序。

在2014年有超过465位贡献家投入Spark开发，让其成为Apache软件基金会以及大数据众多开源项目中最为活跃的项目。

更多Apache相关知识知识，请访问Apache使用教程栏目！

以上是apache spark是什么的详细内容。更多信息请关注PHP中文网其他相关文章！

声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

Apache的持久相关性：检查其当前状态Apr 17, 2025 am 12:06 AM

ApacheHTTPServer在现代Web环境中依然重要，因为其稳定性、可扩展性和丰富的生态系统。1)稳定性和可靠性使其适用于高可用性环境。2)广泛的生态系统提供丰富的模块和扩展。3)易于配置和管理，即使初学者也能快速上手。

Apache的受欢迎程度：成功的原因Apr 16, 2025 am 12:05 AM

Apache成功的原因包括：1)强大的开源社区支持，2)灵活性和可扩展性，3)稳定性和可靠性，4)广泛的应用场景。通过社区的技术支持和共享，Apache提供了灵活的模块化设计和配置选项，确保了其在各种需求下的适应性和稳定性，广泛应用于从个人博客到大型企业网站的不同场景。

Apache的遗产：是什么使它出名？Apr 15, 2025 am 12:19 AM

Apachebecamefamousduetoitsopen-sourcenature，modulardesign，and strongcommunitysupport.1）ITSOPEN-SOPEN-SOURCEMODELANDELANDPERMISSIVEPEPEPIRENESENESCORENDECERAGEDWIDEDWIDESPREADADOPTION.2）tHEMODECTURALACTARACTIOLARACTURARACTURARACTURARACTURARACTERTURELALARTARACTEXIVEDEDENEXIVECUSTOMASTACTOPATAPATATSICATS.3）