搜索
首页数据库mysql教程Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

Hadoop也可以运行在一个伪分布模式,每个Hadoop守护进程运行在一个单独的Java程序的一个节点。 伪分布模式需要在单机模式基础上进行配置。 在/software/hadoop/etc/hadoop/ 目录下 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml等文件。 下面

Hadoop也可以运行在一个伪分布模式,每个Hadoop守护进程运行在一个单独的Java程序的一个节点。

伪分布模式需要在单机模式基础上进行配置。

在/software/hadoop/etc/hadoop/ 目录下
core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml等文件。
下面对以上文件进行配置。

一、etc/hadoop/core-site.xml
包含了hadoop启动时的配置信息。

<code><span>configuration</span>>
    <span>property</span>>
        <span>name</span>>fs.defaultFS<span><span>name</span>></span>
        <span>value</span>>hdfs://localhost:9000<span><span>value</span>></span>
    <span><span>property</span>></span>
<span><span>configuration</span>></span></code>

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

二、etc/hadoop/hdfs-site.xml
用来配置集群中每台主机都可用,指定主机上作为namenode和datanode的目录。

<code><span>configuration</span>>
    <span>property</span>>
        <span>name</span>>dfs.replication<span><span>name</span>></span>
        <span>value</span>>1<span><span>value</span>></span>
    <span><span>property</span>></span>
<span><span>configuration</span>></span></code>

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

三、etc/hadoop/mapred-site.xml
默认情况下,/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件,我们要复制该文件,并命名为mapred.xml,该文件用于指定MapReduce使用的框架

<code><span>configuration</span>>
    <span>property</span>>
        <span>name</span>>mapreduce.framework.name<span><span>name</span>></span>
        <span>value</span>>yarn<span><span>value</span>></span>
    <span><span>property</span>></span>
<span><span>configuration</span>></span></code>

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

四、etc/hadoop/yarn-site.xml
包含了MapReduce启动时的配置信息。

<code><span>configuration</span>>
    <span>property</span>>
        <span>name</span>>yarn.nodemanager.aux-services<span><span>name</span>></span>
        <span>value</span>>mapreduce_shuffle<span><span>value</span>></span>
    <span><span>property</span>></span>
<span><span>configuration</span>></span></code>

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

五、格式化hdfs

<code> hdfs namenode -<span>format</span>    </code>

只需要执行一次即可,如果在hadoop已经使用后再次执行,会清除掉hdfs上的所有数据。
Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

六、启动Hadoop
经过上文所描述配置和操作后,下面就可以启动这个单节点的集群
执行启动命令:

<code> sbin/<span><span>start</span>-dfs.sh    </span></code>

执行该命令时,如果有yes /no提示,输入yes回车即可。
Ubuntu14.04安装Hadoop2.5.2(伪分布模式)
接下来,执行:

<code>sbin/<span><span>start</span>-yarn.sh    </span></code>

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

执行完这两个命令后,Hadoop会启动并运行。
执行 jps命令,会看到Hadoop相关的进程。

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

浏览器打开 http://localhost:50070/,会看到hdfs管理页面。

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

浏览器打开 http://localhost:8088,会看到hadoop进程管理页面。

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

七、WordCount验证
dfs上创建input目录

<code>bin/hadoop fs <span>-mkdir</span> <span>-p</span> input</code>

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

把hadoop目录下的README.txt拷贝到dfs新建的input里

<code>hadoop fs -copyFromLocal README<span>.txt</span> input</code>

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

运行WordCount

<code>hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-<span>2.5</span><span>.2</span>-sources<span>.jar</span> org<span>.apache</span><span>.hadoop</span><span>.examples</span><span>.WordCount</span> input output</code>

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)
执行过程:

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

运行完毕后,查看单词统计结果

<code>hadoop fs <span>-cat</span> output<span>/*</span></code>

Ubuntu14.04安装Hadoop2.5.2(伪分布模式)

声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
MySQL中有哪些不同的存储引擎?MySQL中有哪些不同的存储引擎?Apr 26, 2025 am 12:27 AM

mysqloffersvariousStorageengines,每个suitedfordferentusecases:1)InnodBisidealForapplicationsNeedingingAcidComplianCeanDhighConcurncurnency,supportingtransactionsancions and foreignkeys.2)myisamisbestforread-Heavy-Heavywyworks,lackingtransactionsactionsacupport.3)记忆

MySQL中有哪些常见的安全漏洞?MySQL中有哪些常见的安全漏洞?Apr 26, 2025 am 12:27 AM

MySQL中常见的安全漏洞包括SQL注入、弱密码、权限配置不当和未更新的软件。1.SQL注入可以通过使用预处理语句防止。2.弱密码可以通过强制使用强密码策略避免。3.权限配置不当可以通过定期审查和调整用户权限解决。4.未更新的软件可以通过定期检查和更新MySQL版本来修补。

您如何确定MySQL中的慢速查询?您如何确定MySQL中的慢速查询?Apr 26, 2025 am 12:15 AM

在MySQL中识别慢查询可以通过启用慢查询日志并设置阈值来实现。1.启用慢查询日志并设置阈值。2.查看和分析慢查询日志文件,使用工具如mysqldumpslow或pt-query-digest进行深入分析。3.优化慢查询可以通过索引优化、查询重写和避免使用SELECT*来实现。

如何监视MySQL Server的健康和性能?如何监视MySQL Server的健康和性能?Apr 26, 2025 am 12:15 AM

要监控MySQL服务器的健康和性能,应关注系统健康、性能指标和查询执行。1)监控系统健康:使用top、htop或SHOWGLOBALSTATUS命令查看CPU、内存、磁盘I/O和网络活动。2)追踪性能指标:监控查询每秒数、平均查询时间和缓存命中率等关键指标。3)确保查询执行优化:启用慢查询日志,记录并优化执行时间超过设定阈值的查询。

比较和对比Mysql和Mariadb。比较和对比Mysql和Mariadb。Apr 26, 2025 am 12:08 AM

MySQL和MariaDB的主要区别在于性能、功能和许可证:1.MySQL由Oracle开发,MariaDB是其分支。2.MariaDB在高负载环境中性能可能更好。3.MariaDB提供了更多的存储引擎和功能。4.MySQL采用双重许可证,MariaDB完全开源。选择时应考虑现有基础设施、性能需求、功能需求和许可证成本。

MySQL的许可与其他数据库系统相比如何?MySQL的许可与其他数据库系统相比如何?Apr 25, 2025 am 12:26 AM

MySQL使用的是GPL许可证。1)GPL许可证允许自由使用、修改和分发MySQL,但修改后的分发需遵循GPL。2)商业许可证可避免公开修改,适合需要保密的商业应用。

您什么时候选择InnoDB而不是Myisam,反之亦然?您什么时候选择InnoDB而不是Myisam,反之亦然?Apr 25, 2025 am 12:22 AM

选择InnoDB而不是MyISAM的情况包括:1)需要事务支持,2)高并发环境,3)需要高数据一致性;反之,选择MyISAM的情况包括:1)主要是读操作,2)不需要事务支持。InnoDB适合需要高数据一致性和事务处理的应用,如电商平台,而MyISAM适合读密集型且无需事务的应用,如博客系统。

在MySQL中解释外键的目的。在MySQL中解释外键的目的。Apr 25, 2025 am 12:17 AM

在MySQL中,外键的作用是建立表与表之间的关系,确保数据的一致性和完整性。外键通过引用完整性检查和级联操作维护数据的有效性,使用时需注意性能优化和避免常见错误。

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境

螳螂BT

螳螂BT

Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )专业的PHP集成开发工具