Cloudera Manager and Cloudera Hadoop
改hostname/关闭防火墙/关闭selinux/ssh免密钥登录/NTP同步
下载相关文件(建议CM和CDH版本一致;同时注意CDH与JDK版本兼容性)
- cloudera-manager.repo 一个配置文件
- cm install 安装脚本
- cm rpms rpm的本地源文件(也可通过可以选择下载tar文件直接解压)
- CDH parcel CDH的安装文件,离线安装使用,只需下载对应的parcel及sha1还有manifest.json文件,国外网站可能速度慢,此处使用科大的反向代理
- 安装CM(此处使用本地源文件安装,下载tar文件的不再赘述)
在所有节点执行下列步骤
将cloudera-manager.repo 配置文件拷入
/etc/yum.repos.d/
文件夹验证repo文件是否有效
<code class="sourceCode bash"><span class="kw">yum</span> list<span class="kw">|grep</span> cloudera <span class="co">#如果列出的不是你安装的版本,执行下面命令重试</span> <span class="kw">yum</span> clean all <span class="kw">yum</span> list <span class="kw">|</span> <span class="kw">grep</span> cloudera</code>
- rpm源文件放入任意目录,执行
yum -y install *.rpm
,安装CM
在主节点执行下列步骤
- 将bin文件拷入主节点任意目录
- 将parcel相关文件(3个)拷入
/opt/cloudera/parcel-repo
,注意sha1文件改名为sha,不要修改文件内容 - 赋予执行权限,安装CM
./cloudera-manager-installer.bin
CM的数据库
- 可能会出现没有数据库的错误,非生产环境可以默认绑定PostgreSQL数据库
sudo yum install cloudera-manager-server-db-2
sudo service cloudera-scm-server-db start
使用其他数据库可以看见官网
安装CDH
- 浏览器进入
master_ip:7180
,登录(账户密码默认admin) 选择相应的需要安装的CDH版本,基本上就是下一步了
可能遇到的错误
- 安装CDH过程中卡在"正在获取安装锁"过程,删除对应主机上的缓存即可
cd /tmp
rm -rf scm_prepare_node.*
yum clean all
reboot
其他问题可以参见链接或者直接谷歌
卸载可以参见官网
- 参考
以上是CentOS6.5上Cloudera Manager和Cloudera Hadoop的离线安装的详细内容。更多信息请关注PHP中文网其他相关文章!

Linux的核心组件包括内核、文件系统、Shell和常用工具。1.内核管理硬件资源并提供基本服务。2.文件系统组织和存储数据。3.Shell是用户与系统交互的接口。4.常用工具帮助完成日常任务。

Linux的基本结构包括内核、文件系统和Shell。1)内核管理硬件资源,使用uname-r查看版本。2)EXT4文件系统支持大文件和日志,使用mkfs.ext4创建。3)Shell如Bash提供命令行交互,使用ls-l列出文件。

Linux系统管理和维护的关键步骤包括:1)掌握基础知识,如文件系统结构和用户管理;2)进行系统监控与资源管理,使用top、htop等工具;3)利用系统日志进行故障排查,借助journalctl等工具;4)编写自动化脚本和任务调度,使用cron工具;5)实施安全管理与防护,通过iptables配置防火墙;6)进行性能优化与最佳实践,调整内核参数和养成良好习惯。

Linux维护模式通过在启动时添加init=/bin/bash或single参数进入。1.进入维护模式:编辑GRUB菜单,添加启动参数。2.重新挂载文件系统为读写模式:mount-oremount,rw/。3.修复文件系统:使用fsck命令,如fsck/dev/sda1。4.备份数据并谨慎操作,避免数据丢失。

本文探讨如何在Debian系统上提升Hadoop数据处理效率。优化策略涵盖硬件升级、操作系统参数调整、Hadoop配置修改以及高效算法和工具的运用。一、硬件资源强化确保所有节点硬件配置一致,尤其关注CPU、内存和网络设备性能。选择高性能硬件组件对于提升整体处理速度至关重要。二、操作系统调优文件描述符和网络连接数:修改/etc/security/limits.conf文件,增加系统允许同时打开的文件描述符和网络连接数上限。JVM参数调整:在hadoop-env.sh文件中调整

本指南将指导您学习如何在Debian系统中使用Syslog。Syslog是Linux系统中用于记录系统和应用程序日志消息的关键服务,它帮助管理员监控和分析系统活动,从而快速识别并解决问题。一、Syslog基础知识Syslog的核心功能包括:集中收集和管理日志消息;支持多种日志输出格式和目标位置(例如文件或网络);提供实时日志查看和过滤功能。二、安装和配置Syslog(使用Rsyslog)Debian系统默认使用Rsyslog。您可以通过以下命令安装:sudoaptupdatesud

选择适合Debian系统的Hadoop版本,需要综合考虑以下几个关键因素:一、稳定性与长期支持:对于追求稳定性和安全性的用户,建议选择Debian稳定版,例如Debian11(Bullseye)。该版本经过充分测试,拥有长达五年的支持周期,能够确保系统稳定运行。二、软件包更新速度:如果您需要使用最新的Hadoop功能和特性,则可以考虑Debian的不稳定版(Sid)。但需注意,不稳定版可能存在兼容性问题和稳定性风险。三、社区支持与资源:Debian拥有庞大的社区支持,可以提供丰富的文档和

本文介绍如何在Debian系统上使用TigerVNC共享文件。你需要先安装TigerVNC服务器,然后进行配置。一、安装TigerVNC服务器打开终端。更新软件包列表:sudoaptupdate安装TigerVNC服务器:sudoaptinstalltigervnc-standalone-servertigervnc-common二、配置TigerVNC服务器设置VNC服务器密码:vncpasswd启动VNC服务器:vncserver:1-localhostno


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

SublimeText3 英文版
推荐:为Win版本,支持代码提示!

mPDF
mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

MinGW - 适用于 Windows 的极简 GNU
这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

SublimeText3汉化版
中文版,非常好用

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)