docker搭建hadoop集群适用于学习与轻量开发，需用自定义网络、统一镜像、挂载配置与数据卷，并通过docker-compose编排namenode、datanode等角色容器，配置fs.defaultfs、绑定0.0.0.0地址、关闭安全模式以简化调试。

用 Docker 搭建 Hadoop 集群是快速验证、学习和轻量级开发的有效方式，但需注意：Docker 本身不替代生产级 Hadoop 部署（如使用 YARN 资源调度、HDFS 高可用等），更适合单机多容器模拟分布式环境。

核心思路：容器化角色分离

Hadoop 集群本质是多个角色协同工作（NameNode、DataNode、ResourceManager、NodeManager、SecondaryNameNode 等）。Docker 化的关键是为每个角色启动独立容器，并通过自定义网络和共享配置实现通信与数据协同。

• 使用 docker network create hadoop-net 创建自定义桥接网络，确保容器间可通过主机名互通
• 各容器使用统一基础镜像（如 openjdk:8-jre-slim），避免 JDK 版本/路径不一致导致的启动失败
• 通过 volume 挂载方式持久化 HDFS 数据（如 /opt/hadoop/data）和配置文件（如 core-site.xml、hdfs-site.xml），便于调试与复用
• 避免在容器内格式化 HDFS 多次——NameNode 容器首次启动时执行 hdfs namenode -format，后续重启跳过该步骤，否则丢失元数据

推荐实践：基于 docker-compose 编排

比手动 run 多个容器更可靠。一个典型 docker-compose.yml 可包含：

• namenode：暴露 50070（WebUI）、9000（RPC）端口，挂载配置 + 格式化后的 /opt/hadoop/namenode
• datanode（可扩展多个）：通过 hostname（如 datanode1、datanode2）注册到 NameNode；挂载本地目录作为 data 目录
• resourcemanager：暴露 8088（YARN WebUI），依赖 namenode 容器启动
• nodemanager：与 datanode 同容器或单独部署，需正确设置 yarn.nodemanager.hostname

所有服务通过 environment 注入 JAVA_HOME、HADOOP_CONF_DIR 等变量，并在 entrypoint 脚本中动态生成 hosts 映射（如把 namenode 写入 /etc/hosts），解决 DNS 解析问题。

关键配置要点（非默认必须改）

Docker 中运行 Hadoop，以下配置项常需显式覆盖：

• fs.defaultFS 设为 hdfs://namenode:9000（而非 localhost），让客户端和 DataNode 正确连接
• dfs.namenode.http-address 和 dfs.namenode.rpc-address 绑定到 0.0.0.0，而非默认 127.0.0.1
• yarn.resourcemanager.hostname 设为 resourcemanager 容器名，YARN Client 才能提交任务
• 关闭安全模式（dfs.permissions.enabled=false）简化权限调试，生产环境务必开启

验证与常见问题

集群启动后，按顺序检查：

• 进入 namenode 容器执行 hdfs dfsadmin -report，确认 DataNode 是否在线（Live datanodes ≥ 1）
• 访问 http://localhost:50070（NameNode UI）和 http://localhost:8088（YARN UI），查看节点状态和应用列表
• 运行 hadoop fs -mkdir /test && hadoop fs -put /etc/hosts /test/ 测试读写
• 若 DataNode 启动失败，先看日志：tail -f /opt/hadoop/logs/hadoop-root-datanode-*.log，高频原因是 hostname 解析失败或 data 目录权限不对（建议 chown -R root:root /data）