Spring WebFlux 中高效实现非规范化数据的流式分组与 DTO 转换

陌伟君_5046

陌伟君_5046

2025-12-26

160人浏览

原创

Spring WebFlux 中高效实现非规范化数据的流式分组与 DTO 转换

在 spring webflux 响应式编程中,针对数据库返回的重复用户记录(因多部门导致的笛卡尔展开),可通过 `groupby` + `collectlist` 非阻塞地完成按用户 id 分组、聚合部门信息并构建嵌套 dto 的全流程。

在使用 Spring WebFlux 访问 PostgreSQL 等关系型数据库时,若实体表为非规范化设计(例如一个用户对应多个部门,以多行形式冗余存储),findAllUsersByIds() 会返回多个 User 实例(如 ID=1 的用户出现 3 次,分别关联不同 department)。此时直接 .map(mapper::mapUserDTO) 会导致每个记录独立转成一个 UserDTO,无法满足「一个用户仅返回一个 DTO,且其 departmentDTO 字段为该用户全部部门列表」的业务需求。

关键在于:必须在响应式流中完成去重分组 + 列表聚合 + 嵌套映射,全程不调用任何阻塞操作(如 block()、toFuture().get())。推荐方案如下:

Flux<userdto> userDTOS = userRepo.findAllUsersByIds()
    .groupBy(User::getId) // 按用户 ID 分组,返回 Flux<groupedflux user>>
    .flatMap(group -> 
        group.collectList() // 将每个分组内的 User 收集为 List<user>(非阻塞)
            .map(users -> {
                User first = users.get(0);
                UserDTO dto = new UserDTO();
                dto.setId(first.getId());
                dto.setName(first.getName());
                dto.setDepartmentDTO(
                    users.stream() // 此处 stream 是纯内存操作,安全
                        .map(user -> {
                            DepartmentDTO deptDto = new DepartmentDTO();
                            deptDto.setName(user.getDepartment());
                            deptDto.setArea(user.getDepartmentArea());
                            return deptDto;
                        })
                        .toList()
                );
                return dto;
            })
    );</user></groupedflux></userdto>

✅ 优势说明:

Livestream Sales Script
Livestream Sales Script

直播带货脚本专家,擅长根据产品信息编写生动、吸引人且具说服力的直播脚本,突出核心卖点。

下载
  • groupBy 是响应式原生操作,底层基于 ConcurrentHashMap 和背压感知的分组缓冲,无线程阻塞;
  • collectList() 是 Mono> 转换,适用于已知有限分组规模的场景(如单个用户部门数通常
  • stream().map(...).toList() 发生在 map 内部,属于 CPU-bound 纯内存计算,不影响响应式链路的异步性;
  • 整体仍保持 Flux 输出,可无缝接入 WebFlux 的 @GetMapping 返回值或后续 filter/flatMap 操作。

⚠️ 注意事项:

  • 若存在大量用户(如百万级)且部分用户部门数极高(如上千),collectList() 可能引发内存压力,此时建议配合 .limitRate(n) 或改用 reduce 进行增量构建;
  • 确保 User::getId 返回值稳定(不可为 null),否则 groupBy 会抛出 NullPointerException;
  • 如需保持原始查询顺序(如按 ID 升序),groupBy 本身不保证分组间顺序,但各分组内元素顺序与源 Flux 一致;若需全局有序,应在 groupBy 前使用 sort(Comparator.comparing(User::getId))(注意:sort 会缓冲全部数据,慎用于大数据量)。

通过该模式,你既满足了 REST API 对扁平化输入、嵌套化输出的 DTO 设计规范,又完全遵循了 WebFlux 的非阻塞、背压友好原则,是响应式数据聚合的经典实践。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
spring框架介绍
spring框架介绍

本专题整合了spring框架相关内容,想了解更多详细内容,请阅读专题下面的文章。

2025.08.06

3031

22

Java Spring Security 与认证授权
Java Spring Security 与认证授权

本专题系统讲解 Java Spring Security 框架在认证与授权中的应用,涵盖用户身份验证、权限控制、JWT与OAuth2实现、跨站请求伪造(CSRF)防护、会话管理与安全漏洞防范。通过实际项目案例,帮助学习者掌握如何 使用 Spring Security 实现高安全性认证与授权机制,提升 Web 应用的安全性与用户数据保护。

2026.01.26

517

25

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

569

3

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

2024.03.01

1698

6

sort排序函数用法
sort排序函数用法

sort排序函数的用法:1、对列表进行排序,默认情况下,sort函数按升序排序,因此最终输出的结果是按从小到大的顺序排列的;2、对元组进行排序,默认情况下,sort函数按元素的大小进行排序,因此最终输出的结果是按从小到大的顺序排列的;3、对字典进行排序,由于字典是无序的,因此排序后的结果仍然是原来的字典,使用一个lambda表达式作为key参数的值,用于指定排序的依据。

2023.09.04

1158

7

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

4958

6

golang map内存释放
golang map内存释放

本专题整合了golang map内存相关教程,阅读专题下面的文章了解更多相关内容。

2025.09.05

750

5

golang map相关教程
golang map相关教程

本专题整合了golang map相关教程,阅读专题下面的文章了解更多详细内容。

2025.11.16

343

7

golang map原理
golang map原理

本专题整合了golang map相关内容,阅读专题下面的文章了解更多详细内容。

2025.11.17

553

20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 198人学习

大数据(MySQL)视频教程完整版
大数据(MySQL)视频教程完整版

共200课时 | 29.2万人学习

PHP会话控制/文件上传/分页技术
PHP会话控制/文件上传/分页技术

共22课时 | 3万人学习