统信UOS怎么安装和配置Hadoop环境

老明姑娘_8818

老明姑娘_8818

2026-07-11

1035人浏览

原创

在统信uos中安装hadoop需解决java环境缺失、用户权限隔离、ssh无密登录及配置路径适配四大问题:新建hadoop用户并切换登录;手动配置java_home指向openjdk 17真实路径;启用ssh服务并配置localhost免密登录;下载hadoop 3.3.6,修改hadoop-env.sh、core-site.xml和hdfs-site.xml;执行hdfs namenode -format后start-dfs.sh启动集群,jps验证进程,hdfs dfs命令验证读写。

统信uos怎么安装和配置hadoop环境

在统信UOS系统中安装并运行Hadoop,需先解决Java环境缺失、用户权限隔离、SSH无密登录及Hadoop配置路径适配四大核心问题,否则hdfs namenode -format会报错“JAVA_HOME not set”,start-dfs.sh将因SSH拒绝连接而静默失败。

创建专用Hadoop用户并授权

统信UOS默认不提供hadoop用户,直接用root或普通用户运行Hadoop存在权限越界与日志混乱风险,必须新建隔离账户。

执行sudo useradd -m -s /bin/bash hadoop创建用户;

运行sudo passwd hadoop设置密码(建议设为hadoop123便于临时验证);

添加sudo权限:sudo usermod -aG sudo hadoop;

【关键前提】必须退出当前终端,重新用hadoop用户登录,后续所有操作均在此用户下进行,否则PATH和HOME路径将不匹配。

安装OpenJDK并配置JAVA_HOME

UOS桌面版应用商店安装的JDK路径特殊,无法被Hadoop脚本自动识别,必须手动提取真实路径并写入用户级环境变量。

方法一(图形化安装后手动配置):

打开“开始菜单 → 应用商店”,搜索“OpenJDK 17”,点击安装;

安装完成后,打开终端,执行dpkg -L openjdk-17-jdk | grep bin/java,输出类似/opt/apps/org.bisheng.openjdk17/files/bin/java;

提取JAVA_HOME路径:去掉末尾/bin/java,得到/opt/apps/org.bisheng.openjdk17/files;

执行nano ~/.bashrc,在文件末尾添加:
export JAVA_HOME=/opt/apps/org.bisheng.openjdk17/files
export PATH=$JAVA_HOME/bin:$PATH;

执行source ~/.bashrc生效,再运行java -version确认输出含“17.0.x”字样。

方法二(APT命令行安装,路径标准):

执行sudo apt update && sudo apt install openjdk-17-jdk;

运行readlink -f $(which java) | sed 's|/bin/java||',获取标准路径如/usr/lib/jvm/java-17-openjdk-amd64;

将该路径填入~/.bashrc中的JAVA_HOME赋值语句,保存后source生效。

配置SSH无密码登录

Hadoop伪分布式模式要求NameNode能免密SSH登录本机localhost,UOS默认未启用sshd服务且未生成密钥对。

Live PPT
Live PPT

Live PPT是一款由美图设计室提供的一句话生成 PPT 的 AI 演示文稿工具。

下载

第一步:安装并启动SSH服务
sudo apt install openssh-server -y
sudo systemctl enable ssh
sudo systemctl start ssh

第二步:切换至hadoop用户,生成密钥对
su - hadoop
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

第三步:将公钥写入authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

第四步:测试本地免密登录
ssh localhost -o StrictHostKeyChecking=no
首次执行会自动接受host key,成功返回shell即表示配置完成。

下载解压Hadoop并配置核心文件

从Apache官网下载Hadoop 3.3.6(兼容UOS内核与glibc版本),避免使用2.x老版本,因其不支持UOS默认的GLIBC_2.34。

下载后执行:
tar -xzf hadoop-3.3.6.tar.gz -C ~/opt/
ln -s ~/opt/hadoop-3.3.6 ~/hadoop

进入配置目录:
cd ~/hadoop/etc/hadoop

修改hadoop-env.sh:
找到# export JAVA_HOME=这一行,取消注释并填入实际JAVA_HOME路径,例如:
export JAVA_HOME=/opt/apps/org.bisheng.openjdk17/files

配置core-site.xml:
用nano编辑该文件,替换全部内容为:

  
    fs.defaultFS
    hdfs://localhost:9000
  

配置hdfs-site.xml:
同样用nano编辑,填入:

  
    dfs.replication
    1
  

格式化HDFS并启动伪分布式集群

第一次启动前必须格式化NameNode,否则DataNode无法注册,后续start-dfs.sh将无任何输出也不报错,极易误判为成功。

执行~/hadoop/bin/hdfs namenode -format

若看到“Storage directory /home/hadoop/hadoop_data/hdfs/name has been successfully formatted.”即表示成功;

启动HDFS服务:
~/hadoop/sbin/start-dfs.sh

检查进程是否启动:
jps
应显示NameNode、DataNode、SecondaryNameNode三个Java进程;

验证HDFS可用性:
~/hadoop/bin/hdfs dfs -mkdir /user
~/hadoop/bin/hdfs dfs -mkdir /user/hadoop
~/hadoop/bin/hdfs dfs -put ~/hadoop/etc/hadoop/core-site.xml /user/hadoop/

执行~/hadoop/bin/hdfs dfs -ls /user/hadoop,能看到core-site.xml文件即表示HDFS写入正常。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

统信uos

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
hadoop是什么
hadoop是什么

hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。本专题为大家免费提供hadoop相关的文章、下载和课程。

2023.06.30

911

5

hadoop三大核心组件介绍
hadoop三大核心组件介绍

Hadoop的三大核心组件分别是:Hadoop Distributed File System(HDFS)、MapReduce和Yet Another Resource Negotiator(YARN)。想了解更多hadoop的相关内容,可以阅读本专题下面的文章。

2024.03.13

1845

9

hadoop的核心
hadoop的核心

hadoop的核心由分布式文件系统 (hdfs) 和资源管理框架 (mapreduce) 组成。想了解更多hadoop的相关内容,可以阅读本专题下面的文章。

2024.05.16

2186

8

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

2025.12.08

1249

12

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

2026.10.16

60

10

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

2026.10.16

40

10

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

2026.10.16

40

10

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

2026.10.16

20

15

Revel框架MVC路由与控制器
Revel框架MVC路由与控制器

本专题聚焦Revel框架MVC核心机制,讲解路由定义、控制器Action、参数绑定、请求响应和反向路由,并结合常见场景梳理接口请求处理流程。

2026.10.16

20

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.8万人学习