怎么在多级评论区的 DTO 转换中利用 Callable 异步并行加载敏感词过滤词库

轻明吖_9773

轻明吖_9773

2026-06-01

873人浏览

原创

应单例懒加载敏感词库并同级并行脱敏:词库用atomicboolean+双重检查锁延迟初始化为spring bean;dto转换中仅调用已加载的单例filter,同级评论用completablefuture.supplyasync并行过滤,父子级保持同步递归。

怎么在多级评论区的 dto 转换中利用 callable 异步并行加载敏感词过滤词库

在多级评论区的 DTO 转换中,直接同步加载敏感词过滤词库(如 DFA、AC 自动机等)会导致接口响应变慢,尤其当评论树深度大、节点多时,每个节点都去查一次词库或初始化一次过滤器,性能会急剧下降。用 Callable + ExecutorService 实现异步并行加载词库,核心不是“每个评论都异步过滤”,而是只加载一次词库,并确保它线程安全、可复用、延迟初始化。下面分几步讲清楚怎么做。

词库应单例+懒加载,而非每次转换都 new

敏感词库(比如基于 Trie 构建的 DFA)初始化成本高,但一旦构建完成就是只读的。不要在每个 DTO 转换里重复构建,更不要让 Callable 去反复加载同一份词库。

  • 把词库封装成 Spring Bean(@Scope("singleton")),构造时不做实际加载,改用 AtomicBoolean initialized + 双重检查锁实现懒加载
  • 加载逻辑(如从 DB/Redis/本地文件读取词表、构建成 DFA 树)放在 initIfNeeded() 中,由首次调用方触发
  • DTO 转换代码里只调用 sensitiveFilter.contains(text),不关心加载时机

DTO 转换本身用 CompletableFuture 编排,但别让 Callable 加载词库

多级评论需递归转换(如 CommentDTO → List 子列表),每层可能要对 content 做脱敏。这时可并行处理同级兄弟节点,但不是用 Callable 去加载词库,而是用它并行执行过滤逻辑。

Picit AI
Picit AI

一款AI图像与设计工具,主要用于免费AI图片编辑器、滤镜与设计工具,适合需要提升相关任务效率的用户。

下载
  • 用 CompletableFuture.supplyAsync(() -> filter(content), executor) 对同级 N 条评论内容并行脱敏
  • executor 建议用自定义线程池(非 commonPool),避免 IO 密集型任务挤占 ForkJoinPool
  • filter 方法内部直接调用已初始化好的单例词库,无任何加载开销
  • 父子级之间仍保持同步递归(树形结构天然有依赖),只在“同层平级”做并行

如果词库真需要热更新,用 ScheduledExecutorService 异步刷新

有些业务要求敏感词实时生效(如运营后台修改后 5 秒内生效)。此时不能靠每次转换时加载,而应由后台定时或监听事件异步重建词库实例,并原子替换引用。

  • 维护一个 AtomicReference<sensitivefilter></sensitivefilter>,指向当前可用词库
  • 另起一个 ScheduledExecutorService,定期执行 loadNewFilter().thenUpdateRef()
  • DTO 转换时始终通过该引用获取最新实例,天然线程安全
  • Callable 在这里只用于“加载新词库”这个后台任务,不参与请求链路

示例:同级评论并行脱敏的典型写法

假设你有一个评论列表 List<comment> comments</comment>,要转成 List<commentdto></commentdto>,其中 content 需过滤:

// 用固定线程池,避免 commonPool 被阻塞
private final ExecutorService filterPool = Executors.newFixedThreadPool(4);

List<completablefuture>> futures = comments.stream()
    .map(comment -> CompletableFuture.supplyAsync(() -> {
        String filtered = sensitiveFilter.sanitize(comment.getContent()); // ← 单例词库,无加载逻辑
        return new CommentDTO(comment.getId(), filtered, 
                convertChildren(comment.getChildren())); // 子树递归,同步
    }, filterPool))
    .toList();

return CompletableFuture.allOf(futures.toArray(new CompletableFuture[0]))
    .thenApply(v -> futures.stream()
        .map(CompletableFuture::join)
        .collect(Collectors.toList()))
    .join();
</completablefuture>

相关专题

更多
java
java

Java是一个通用术语,用于表示Java软件及其组件,包括“Java运行时环境 (JRE)”、“Java虚拟机 (JVM)”以及“插件”。php中文网还为大家带了Java相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

2023.06.15

10137

6

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

7282

9

java自学难吗
java自学难吗

Java自学并不难。Java语言相对于其他一些编程语言而言,有着较为简洁和易读的语法,本专题为大家提供java自学难吗相关的文章,大家可以免费体验。

2023.07.31

6392

8

java配置jdk环境变量
java配置jdk环境变量

Java是一种广泛使用的高级编程语言,用于开发各种类型的应用程序。为了能够在计算机上正确运行和编译Java代码,需要正确配置Java Development Kit(JDK)环境变量。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.01

1104

3

java保留两位小数
java保留两位小数

Java是一种广泛应用于编程领域的高级编程语言。在Java中,保留两位小数是指在进行数值计算或输出时,限制小数部分只有两位有效数字,并将多余的位数进行四舍五入或截取。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.08.02

908

3

java基本数据类型
java基本数据类型

java基本数据类型有:1、byte;2、short;3、int;4、long;5、float;6、double;7、char;8、boolean。本专题为大家提供java基本数据类型的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

1336

5

java有什么用
java有什么用

java可以开发应用程序、移动应用、Web应用、企业级应用、嵌入式系统等方面。本专题为大家提供java有什么用的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.02

2669

5

java在线网站
java在线网站

Java在线网站是指提供Java编程学习、实践和交流平台的网络服务。近年来,随着Java语言在软件开发领域的广泛应用,越来越多的人对Java编程感兴趣,并希望能够通过在线网站来学习和提高自己的Java编程技能。php中文网给大家带来了相关的视频、教程以及文章,欢迎大家前来学习阅读和下载。

2023.08.03

19991

3

配置java环境变量
配置java环境变量

配置Java环境变量是为了让操作系统能够识别和使用Java的相关命令和功能。本专题为大家提供配置java环境变量相关文章,帮助大家解决问题。

2023.08.03

1195

8

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习