最有效的方式是用预装镜像+Docker Compose编排，1分钟内一键拉起伪分布式Hadoop/Spark集群；优先选用Apache、Bitnami或Hortonworks成熟镜像，通过Dockerfile最小化定制（删冗余组件、换阿里云yum源、精简配置、自动格式化namenode），再用docker-compose定义master/worker拓扑并挂载配置与数据卷，最后验证功能并导出离线镜像包。
最有效的方式是用预装镜像 + Docker Compose 编排，把 Hadoop、Spark 等组件打包成开箱即用的容器镜像，再一键拉起伪分布式集群——整个过程控制在 1 分钟内完成。
优先复用成熟基础镜像
别从零构建 CentOS 或 scratch 镜像。直接选用已验证的基础镜像，能避开 JDK 版本冲突、glibc 升级失败、SSH 免密缺失等高频问题：
- Apache 官方镜像：apache/hadoop:3.3.6（含 HDFS/YARN 基础服务）
- Bitnami 社区镜像：bitnami/hadoop、bitnami/spark（自带非 root 用户、健康检查脚本）
- 轻量沙盒镜像：hortonworks/hdf-sandbox（组件联动稳定，适合集成测试）
用 Dockerfile 做最小化定制
预装 ≠ 全装。测试环境只需核心能力，删掉冗余服务可显著提升启动速度和稳定性：
- 保留 HDFS + YARN + Spark SQL，移除 ZooKeeper、Kafka、HBase 等非必需组件
- 替换 yum 源为阿里云镜像加速安装：
sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-* - 预置精简配置文件（
core-site.xml、hdfs-site.xml），禁用 Kerberos 和安全模式 - 添加启动时自动格式化 namenode 的逻辑（仅限单节点测试场景）
用 docker-compose 编排伪分布式集群
一个 docker-compose.yml 文件即可定义 master + worker 节点拓扑，实现秒级启停：
- master 服务运行 NameNode、ResourceManager、Spark Master
- 2 个 worker 服务分别运行 DataNode、NodeManager、Spark Worker
- 通过自定义网络（如
test-hadoop-net）确保容器间免密互通 - 挂载本地配置目录和测试数据卷，便于快速替换参数或注入样本数据
构建后验证与离线复用
镜像不是构建完就结束，必须验证可用性并支持离线交付：
- 启动容器后执行
hdfs dfs -ls /和spark-submit --master yarn --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-examples_*.jar 10 - 验证通过后，用
docker save导出为 tar.gz 包，供无外网环境复用 - 配合 CI 流水线，每次代码提交可自动触发镜像构建+集群部署+冒烟测试
