银河麒麟系统安装Hadoop环境 麒麟OS大数据开发配置

落宇小哥_3197

落宇小哥_3197

2026-05-16

881人浏览

原创

银河麒麟部署hadoop需分场景适配:一、x86_64桌面版可apt一键安装openjdk 11与hadoop组件;二、arm64(飞腾平台)须用aarch64构建版并禁用不支持gc;三、伪分布式模式需配置ssh免密、hosts映射及单节点核心参数;四、须适配kysec安全策略,设置selinux上下文与audit放行规则1。1 ↩

银河麒麟系统安装hadoop环境 麒麟os大数据开发配置

如果您在银河麒麟操作系统上部署Hadoop环境以支持大数据开发,但遇到Java环境缺失、SSH通信失败或HDFS无法启动等问题,则很可能是由于基础依赖未就绪或配置未适配麒麟系统特性。以下是多种可行的安装与配置方法:

一、基于APT包管理器的一键式JDK与Hadoop安装

该方法适用于银河麒麟V10桌面版(x86_64)且已接入官方软件源的场景,可快速拉取预编译适配包,避免手动编译兼容性问题。

1、更新系统软件源并升级内核及基础工具:
sudo apt-get update && sudo apt-get upgrade -y

2、安装OpenJDK 11(银河麒麟V10默认源中已验证兼容):
sudo apt-get install openjdk-11-jdk-headless -y

3、配置JAVA_HOME环境变量:
echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64' | sudo tee -a /etc/profile
echo 'export PATH=$JAVA_HOME/bin:$PATH' | sudo tee -a /etc/profile
source /etc/profile

4、安装Hadoop二进制包(若源中提供):
sudo apt-get install hadoop-hdfs-namenode hadoop-yarn-resourcemanager -y

5、验证Java与Hadoop版本:
java -version
hadoop version 命令应输出 3.3.x 或更高版本,且无 NoClassDefFoundError 报错

二、ARM架构麒麟系统手动部署Hadoop(适配飞腾CPU)

该方法专用于银河麒麟V10 ARM64版本(如Phytium FT-2000/4平台),需使用官方提供的aarch64构建版Hadoop,避免x86指令集不兼容导致的Segmentation Fault。

1、确认系统架构与内核版本:
uname -m && cat /etc/os-release | grep -E "(VERSION|NAME)"

2、下载适配ARM的Hadoop发行包:
wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.1/hadoop-3.3.1-aarch64.tar.gz -P /tmp/

3、解压至标准路径并建立软链接:
sudo tar -zxvf /tmp/hadoop-3.3.1-aarch64.tar.gz -C /opt/
sudo ln -sf /opt/hadoop-3.3.1 /opt/hadoop

4、配置hadoop-env.sh中的JVM参数(禁用不支持的GC选项):
sed -i 's/-XX:+UseG1GC//g' /opt/hadoop/etc/hadoop/hadoop-env.sh
echo 'export HADOOP_OPTS="-Djava.awt.headless=true"' >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5、设置HADOOP_HOME与PATH:
echo 'export HADOOP_HOME=/opt/hadoop' | sudo tee -a /etc/profile
echo 'export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH' | sudo tee -a /etc/profile
source /etc/profile

6、执行 hadoop checknative -a 命令,输出中所有 native library 状态必须为 true,否则需重新编译对应aarch64 native库

三、单机伪分布式模式快速验证配置

该方法跳过集群规划与多节点同步,仅在单台银河麒麟主机上启用NameNode、DataNode、ResourceManager、NodeManager全部角色,用于开发调试与功能验证,避免网络配置错误干扰。

人工智能数字技术机器人全息大脑大数据分析矢量素材(EPS)
人工智能数字技术机器人全息大脑大数据分析矢量素材(EPS)

这是一款人工智能数字技术机器人全息大脑大数据分析矢量素材,格式为 EPS,含 JPG 预览图。

下载

1、关闭防火墙并禁用SELinux(麒麟系统默认未启用SELinux,但需确认):
sudo systemctl stop ufw
sudo systemctl disable ufw

2、配置本地hosts映射(防止localhost解析异常):
echo '127.0.0.1 localhost' | sudo tee /etc/hosts
echo '127.0.0.1 node1' | sudo tee -a /etc/hosts

3、启用SSH免密登录(Hadoop脚本依赖ssh localhost):
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

4、编辑core-site.xml(/opt/hadoop/etc/hadoop/core-site.xml):

  
    fs.defaultFS
    hdfs://node1:9000
  

5、编辑hdfs-site.xml(副本数设为1以适配单磁盘):

  
    dfs.replication
    1
  

6、格式化HDFS文件系统并启动服务:
/opt/hadoop/bin/hdfs namenode -format
/opt/hadoop/sbin/start-dfs.sh
/opt/hadoop/sbin/start-yarn.sh

7、访问 http://localhost:9870 查看NameNode WebUI,状态栏显示 “Safe mode is OFF” 且 Live Nodes ≥ 1 即表示伪分布式运行成功

四、麒麟系统专用安全加固适配配置

该方法针对银河麒麟国产操作系统特有的安全模块(如kysec、auditd)和默认权限策略,规避因强制访问控制(MAC)或审计日志拦截导致Hadoop进程被kill或端口绑定失败。

1、检查kysec安全策略状态:
sudo kysec status

2、若处于Enforcing模式,临时切换为Permissive(仅调试阶段):
sudo kysec setenforce 0

3、为Hadoop相关目录添加安全上下文标签(适配kysec):
sudo semanage fcontext -a -t usr_t "/opt/hadoop(/.*)?"
sudo restorecon -Rv /opt/hadoop

4、配置audit规则放行Hadoop关键系统调用:
echo '-a always,exit -F arch=b64 -S bind,connect,accept -F uid>=1000 -k hadoop_net' | sudo auditctl -I

5、修改hadoop-env.sh,显式指定用户身份(避免以root启动触发安全拦截):
echo 'export HDFS_NAMENODE_USER="hadoop"' >> /opt/hadoop/etc/hadoop/hadoop-env.sh
echo 'export HDFS_DATANODE_USER="hadoop"' >> /opt/hadoop/etc/hadoop/hadoop-env.sh
echo 'export YARN_RESOURCEMANAGER_USER="hadoop"' >> /opt/hadoop/etc/hadoop/hadoop-env.sh
echo 'export YARN_NODEMANAGER_USER="hadoop"' >> /opt/hadoop/etc/hadoop/hadoop-env.sh

6、执行 ps aux | grep -E "(NameNode|DataNode|ResourceManager)",所有进程UID必须为 hadoop 用户,且无 audit.log 中 "avc: denied" 相关拒绝记录

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

大数据 系统安装

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

2023.06.21

3896

5

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

2025.12.08

1189

12

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.05

203

5

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

2026.01.05

426

22

Aionclaw智能助手介绍
Aionclaw智能助手介绍

本专题汇总了AionClaw(AI龙虾助手)的功能介绍与在线使用入口。AionClaw是杭州趣猿人工智能有限公司推出的桌面级AI智能体,能直接在电脑上读写文件、运行脚本、操作浏览器,自动交付Word、PPT、Excel等成品。

2026.09.20

0

13

AionClaw AI智能体与电脑自动化任务执行功能使用教程
AionClaw AI智能体与电脑自动化任务执行功能使用教程

AionClaw专题整理AI智能体与电脑自动化相关功能使用教程,涵盖安装部署、AI任务执行、Skills技能、文件处理、浏览器控制、电脑操作、持久记忆、聊天工具连接以及办公、编程和内容创作等功能,帮助用户快速掌握AionClaw的实际使用方法。

2026.09.20

0

15

AI视频生成软件推荐
AI视频生成软件推荐

本专题汇总了当前主流的AI视频生成软件推荐与排行榜单,涵盖seko、AniShort、剧云、Lovart、LiblibAI及立刻mv等热门工具。同时整理了各软件在文生视频、图生视频、时长限制、画质表现及免费额度等方面的差异对比,助您快速选对适合创作需求的AI视频生成工具。

2026.09.16

180

9

ai生成视频的工具免费版合集
ai生成视频的工具免费版合集

本专题汇总了当前免费AI生成视频工具的排行榜与推荐清单,涵盖seko、讯飞智作、AniShort及剧云、Lovart等多模型集成平台。同时整理了各工具的免费额度、输出时长、水印政策及适用场景差异,助您快速选择合适工具开启AI视频创作。

2026.09.16

60

10

Pandas时间序列分析与可视化报表
Pandas时间序列分析与可视化报表

本专题整理Pandas日期转换、时间索引、重采样、滚动窗口、时区处理、plot绘图、Styler表格样式和报表输出方法。

2026.09.16

80

23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 168人学习

大数据(MySQL)视频教程完整版
大数据(MySQL)视频教程完整版

共200课时 | 26.7万人学习

PHP会话控制/文件上传/分页技术
PHP会话控制/文件上传/分页技术

共22课时 | 2.8万人学习