怎样在Spring Boot中使用Redis Pipeline批量写入百万数据

梦晨君_1722

梦晨君_1722

2026-09-28

600人浏览

原创

executepipelined要求回调返回null,故不可用opsforvalue().set();应改用redisconnection原生命令或sessioncallback,且需手动处理序列化、分批(每批1000~5000条)、过期时间用psetex()。

怎样在spring boot中使用redis pipeline批量写入百万数据

直接用 executePipelined 会报错:返回值必须为 null

很多同学一上来就照着文档写:redisTemplate.executePipelined(...),然后在回调里调用 opsForValue().set(),结果发现抛出 InvalidDataAccessApiUsageException,提示“Callback cannot return a non-null value”。这是因为 executePipelined 要求回调函数的返回值必须是 null,而 opsForValue().set() 内部会尝试返回命令执行结果(比如 OK),触发校验失败。

真正能用的路径只有两条:

  • 用 RedisConnection 原生命令(推荐):绕过 RedisOperations 封装,直接调用 connection.stringCommands().set() 等底层方法
  • 用 SessionCallback 包裹多个 opsForXxx() 调用:它不校验返回值,但注意——它内部仍是通过 RedisConnection 实现的,只是做了封装

stringCommands().set() 和 opsForValue().set() 的序列化行为不同

用原生 connection.stringCommands().set(key.getBytes(), value.getBytes()) 时,你传的是原始字节数组,RedisTemplate 的序列化器(比如 StringRedisSerializer 或 GenericJackson2JsonRedisSerializer)完全不生效。这意味着:

  • key 和 value 必须自己确保是 UTF-8 编码的字节,否则 Redis 里存的是乱码
  • 如果你的 key 是中文或带特殊字符,new String(keyStr.getBytes(), "UTF-8") 要和写入时一致,否则 get 不出来
  • 如果 value 是对象,不能直接传 object.toString().getBytes(),得手动 JSON 序列化(比如用 ObjectMapper.writeValueAsBytes())

而 opsForValue().set() 会自动走 valueSerializer,但如前所述,它不能在 executePipelined 的 RedisCallback 中直接使用。

百万数据分批写入,别一次性塞进一个 pipeline

Redis 单次 pipeline 承载能力有限,实测在 10MB 响应体或 10 万条命令左右就容易触发超时或 OOM。尤其当你的 value 较大(比如含 JSON 字段),实际能塞的命令数会更少。强行一次发百万条,大概率出现:

CI Tools Pipeline
CI Tools Pipeline

使用位于 ci-tools.xrow.de 的 CI Tools 组件目录构建和维护 GitLab CI/CD 流水线,适用于创建或修复 .gitlab-ci.yml 文件,选择合适的组件。

下载
  • java.net.SocketTimeoutException: Read timed out
  • io.lettuce.core.RedisCommandTimeoutException
  • Lettuce 连接池耗尽、连接被复位

稳妥做法是按 1000~5000 条/批切分,每批单独调用一次 executePipelined:

int batchSize = 2000;
for (int i = 0; i  batch = keys.subList(i, end);
    redisTemplate.executePipelined((RedisCallback<object>) connection -> {
        for (String key : batch) {
            connection.stringCommands().set(
                key.getBytes(StandardCharsets.UTF_8),
                ("value:" + key).getBytes(StandardCharsets.UTF_8)
            );
        }
        return null;
    });
}</object>

注意:不要在循环里反复 new ObjectMapper 或拼接字符串,批量构造前预热好编码器、复用 byte[] 缓冲区可再省 10%~15% 时间。

别把 pipeline 当事务,过期时间得手动加

pipeline 不是 MULTI/EXEC,它没有原子性,也不支持命令级条件控制。最常踩的坑是——想给每个 key 设置不同过期时间,却发现 set(key, value, timeout, unit) 没法在 pipeline 里用。

因为 connection.stringCommands().set() 只有无过期版;而 connection.setEx() 才支持过期,但它要求 key/value 都是 byte[],且 timeout 是 int 秒(不是 TimeUnit):

  • 若需毫秒级精度或非整数秒,得用 connection.pSetEx()(单位是毫秒)
  • 若过期时间各不相同,必须在循环里逐个调用 pSetEx(),无法合并成一条命令
  • 若所有 key 过期时间相同,优先用 pSetEx(),比先 set() 再 expire() 少一次命令开销

这个细节在百万级写入时会被放大:多一次命令,就多一次 Redis 内部处理开销,整体耗时可能多出 8%~12%。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

redis spring boot pip

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
spring框架介绍
spring框架介绍

本专题整合了spring框架相关内容,想了解更多详细内容,请阅读专题下面的文章。

2025.08.06

2211

22

Java Spring Security 与认证授权
Java Spring Security 与认证授权

本专题系统讲解 Java Spring Security 框架在认证与授权中的应用,涵盖用户身份验证、权限控制、JWT与OAuth2实现、跨站请求伪造(CSRF)防护、会话管理与安全漏洞防范。通过实际项目案例,帮助学习者掌握如何 使用 Spring Security 实现高安全性认证与授权机制,提升 Web 应用的安全性与用户数据保护。

2026.01.26

417

25

pip安装使用方法
pip安装使用方法

安装步骤:1、确保Python已经正确安装在您的计算机上;2、下载“get-pip.py”脚本;3、按下Win + R键,然后输入cmd并按下Enter键来打开命令行窗口;4、在命令行窗口中,使用cd命令切换到“get-pip.py”所在的目录;5、执行安装命令;6、验证安装结果即可。大家可以访问本专题下的文章,了解pip安装使用方法的更多内容。

2023.10.09

2490

5

更新pip版本
更新pip版本

更新pip版本方法有使用pip自身更新、使用操作系统自带的包管理工具、使用python包管理工具、手动安装最新版本。想了解更多相关的内容,请阅读专题下面的文章。

2024.12.20

5763

6

pip设置清华源
pip设置清华源

设置方法:1、打开终端或命令提示符窗口;2、运行“touch ~/.pip/pip.conf”命令创建一个名为pip的配置文件;3、打开pip.conf文件,然后添加“[global];index-url = https://pypi.tuna.tsinghua.edu.cn/simple”内容,这将把pip的镜像源设置为清华大学的镜像源;4、保存并关闭文件即可。

2024.12.23

7302

11

python升级pip
python升级pip

本专题整合了python升级pip相关教程,阅读下面的文章了解更多详细内容。

2025.07.23

3527

16

常用的数据库软件
常用的数据库软件

常用的数据库软件有MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、Redis、Cassandra、Hadoop、Spark和Amazon DynamoDB。更多关于数据库软件的内容详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.02

4169

19

内存数据库有哪些
内存数据库有哪些

内存数据库有Redis、Memcached、Apache Ignite、VoltDB、TimesTen、H2 Database、Aerospike、Oracle TimesTen In-Memory Database、SAP HANA和ache Cassandra。更多关于内存数据库相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.14

3635

11

mongodb和redis哪个读取速度快
mongodb和redis哪个读取速度快

redis 的读取速度比 mongodb 更快。原因包括:1. redis 使用简单的键值存储,而 mongodb 存储 json 格式的数据,需要解析和反序列化。2. redis 使用哈希表快速查找数据,而 mongodb 使用 b-tree 索引。因此,redis 在需要高性能读取操作的应用程序中是一个更好的选择。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.02

6472

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习