WebHDFS REST API 与 Spring Boot 集成实战指南-java教程-PHP中文网

WebHDFS REST API 与 Spring Boot 集成实战指南

本文详解如何在 Spring Boot 应用中安全高效地操作 HDFS：推荐使用 hadoop-client 直连 HDFS（更高效、更稳定），同时提供 WebHDFS REST 方式（HTTP 调用）的完整实现与对比分析。

本文详解如何在 spring boot 应用中安全高效地操作 hdfs：推荐使用 `hadoop-client` 直连 hdfs（更高效、更稳定），同时提供 webhdfs rest 方式（http 调用）的完整实现与对比分析。

在 Spring Boot 微服务中对接 Hadoop 分布式文件系统（HDFS），核心目标是实现文件/目录的增删改查（CRUD）。虽然 Apache 官方提供了基于 HTTP 的 WebHDFS REST API，但生产环境强烈建议优先采用 hadoop-client Java SDK 直连方式——它通过 Namenode RPC 协议通信，性能更高、语义更丰富、异常处理更完善，且天然支持 Kerberos 认证、HA 自动故障转移等企业级特性。

✅ 推荐方案：使用 hadoop-client（推荐）

添加依赖（Maven）

<dependency><groupid>org.apache.hadoop</groupid><artifactid>hadoop-client</artifactid><version>3.3.6</version><!-- 请与集群 Hadoop 版本严格一致 --></dependency>

配置 Hadoop 客户端（application.yml）

hadoop:
  fs-defaultFS: hdfs://mycluster  # HA 逻辑名，需与 core-site.xml 一致
  config:
    dfs.ha.namenodes.mycluster: nn1,nn2
    dfs.namenode.rpc-address.mycluster.nn1: namenode1:8020
    dfs.namenode.rpc-address.mycluster.nn2: namenode2:8020
    dfs.client.failover.proxy.provider.mycluster: org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

注入并使用 FileSystem（示例 Service）

Spring Boot Actuator Analyzer

分析Spring Boot Actuator端点的安全性、健康检查、指标暴露及生产配置——审计信息、健康状态和自定义端点。

下载

@Service
public class HdfsService {
    private final FileSystem fileSystem;

    public HdfsService(@Value("${hadoop.fs-defaultFS}") String fsUri,
                       @Value("#{systemProperties}") Properties sysProps) throws IOException {
        Configuration conf = new Configuration();
        // 加载自定义配置
        sysProps.stringPropertyNames().forEach(k -> 
            conf.set(k, sysProps.getProperty(k)));
        conf.set("fs.defaultFS", fsUri);
        this.fileSystem = FileSystem.get(URI.create(fsUri), conf);
    }

    public void createDirectory(String path) throws IOException {
        fileSystem.mkdirs(new Path(path));
    }

    public void uploadFile(String localPath, String hdfsPath) throws IOException {
        fileSystem.copyFromLocalFile(false, true,
            new Path(localPath), new Path(hdfsPath));
    }

    public InputStream readFile(String hdfsPath) throws IOException {
        return fileSystem.open(new Path(hdfsPath));
    }

    public void deletePath(String hdfsPath, boolean recursive) throws IOException {
        fileSystem.delete(new Path(hdfsPath), recursive);
    }
}

⚠️ 注意：务必确保 hadoop-client 版本与 Hadoop 集群版本完全兼容；若启用 Kerberos，需额外配置 core-site.xml 和 hdfs-site.xml，并调用 UserGroupInformation.loginUserFromKeytab()。

⚠️ 备选方案：WebHDFS REST 调用（仅限轻量/调试场景）

当无法引入 Hadoop 客户端（如受限容器环境）时，可使用 Spring WebFlux 的 WebClient 构建 REST 请求：

@Service
public class WebHdfsService {
    private final WebClient webClient;
    private final String webhdfsUrl = "http://namenode:50070/webhdfs/v1"; // 确保启用了 WebHDFS

    public WebHdfsService() {
        this.webClient = WebClient.builder()
            .codecs(configurer -> configurer.defaultCodecs().maxInMemorySize(10 * 1024 * 1024))
            .build();
    }

    public Mono<void> createDirectory(String path) {
        String url = String.format("%s%s?op=MKDIRS&user.name=hdfs", webhdfsUrl, encodePath(path));
        return webClient.put()
            .uri(url)
            .retrieve()
            .bodyToMono(Void.class);
    }

    private String encodePath(String path) {
        return URLEncoder.encode(path, StandardCharsets.UTF_8);
    }
}</void>

? 提示：WebHDFS 默认端口为 50070（Hadoop 2.x）或 9870（Hadoop 3.x），需确认 hdfs-site.xml 中 dfs.webhdfs.enabled=true 已启用；所有操作均需显式指定 user.name 参数（模拟用户身份），不支持 Kerberos 透明认证。