Redis批处理

ps：如果这篇帖子对于还在找工作和找实习的你有所帮助，可以关注我，给本贴点赞、评论、收藏并订阅专栏；同时不要吝啬您的花花

Redis单命令执行需经历「客户端发送→服务端处理→结果返回」完整网络往返（RTT），高并发场景下频繁的网络交互会成为性能瓶颈，大幅拉高延迟、降低吞吐。Redis批处理的核心价值就是将多条命令打包发送，减少网络RTT次数，同时降低客户端与服务端的资源消耗，是Redis高性能优化的必备手段。

本文按易用性、性能、原子性分层讲解四大批处理方案，覆盖单机/集群环境，搭配实操代码与避坑要点，兼顾新手入门与生产落地。

一、入门级：M系列原生批量命令

M系列是Redis内置的单命令多键操作，无需额外编码，直接通过原生命令实现批量读写，是最简单的批处理方式，全程由Redis服务端原子执行。

1.1 常用M系列命令

字符串类型：MSET（批量设值）、MGET（批量取值），支持一次性读写多个String键值对
哈希类型：HMSET（批量设哈希字段）、HMGET（批量取哈希字段）、HGETALL（全量取哈希）
列表/集合：LPUSH/RPUSH多值参数、SADD多值参数，本质也是单命令批量写入

1.2 实操代码示例

# 批量查询字符串键值
MGET user:1 user:2 user:3

# 批量设置字符串键值
MSET user:4 "{\"name\":\"Tom\",\"age\":20}" user:5 "{\"name\":\"Jerry\",\"age\":18}"

# 哈希类型批量操作示例（补充）
HMSET huser:1 name Lucy age 22 gender female
HMGET huser:1 name age

1.3 适用场景与局限性

适用场景：同类型键的批量读写、无业务逻辑的简单批量操作，适合快速实现基础批处理。

局限性：仅支持固定命令的批量操作，无法自定义业务逻辑；集群环境下若键分散在不同哈希槽，会执行失败；不支持多命令类型组合批处理。

二、进阶级：Pipeline管道模式

Pipeline是客户端层面的批处理方案，核心原理是将多条命令缓存到客户端缓冲区，一次性发送至服务端，服务端批量执行后一次性返回所有结果，彻底减少网络RTT，性能提升远超单命令循环，是生产中最常用的批处理方案。

2.1 核心特性

非原子性：Pipeline内命令是依次执行，但中间若出现命令失败，不会中断后续执行（可开启事务模式实现原子性）
客户端可控：批次大小、命令组合完全由客户端自定义，支持不同类型命令混合打包
性能极致：常规场景下，批次大小设为100-200时，性能可提升5-10倍

2.2 实操Redis原生命令

Redis原生Pipeline通过redis-cli --pipe实现批量提交，直接在命令行拼接多条命令，一次性发送给服务端执行，无需依赖客户端SDK。

非交互式管道（生产常用，批量文件执行）
# 1. 新建batch.txt，写入待执行命令（每行一条，结尾加\n分隔）
cat > batch.txt << EOF
SET batch:0 value:0
GET batch:0
SET batch:1 value:1
GET batch:1
SET batch:2 value:2
GET batch:2
EOF

# 2. 管道批量执行命令
cat batch.txt | redis-cli --pipe

Java Jedis Pipeline

Jedis jedis = new Jedis("localhost", 6379);
Pipeline pipeline = jedis.pipelined();
// 批量添加命令
for (int i = 0; i < 100; i++) {
    pipeline.set("batch:" + i, "value:" + i);
    pipeline.get("batch:" + i);
}
// 同步获取所有结果
List<Object> results = pipeline.syncAndReturnAll();
jedis.close();

2.3 集群环境适配

Redis集群按哈希槽分片，默认Pipeline不支持跨槽命令，解决方案：

使用Hash Tag（{}）强制键路由到同一节点，例如{user}:1、{user}:2会映射到同一槽位
按哈希槽分组，对同一槽位的键单独执行Pipeline
使用集群客户端自带的批量API，自动处理槽位分发

2.4 避坑要点

批次大小不宜过大：单次打包超过1000条命令，会占用服务端大量内存，引发阻塞
非事务Pipeline不保证原子性，需业务层做异常重试
避免在Pipeline中执行耗时命令（如KEYS、FLUSHDB），防止阻塞服务端

三、高阶：Lua脚本批处理

Lua脚本是Redis服务端层面的批处理方案，通过EVAL/EVALSHA命令执行自定义Lua逻辑，全程原子执行，既能实现批量操作，又能嵌入业务逻辑，解决分布式原子性问题。

3.1 核心优势

强原子性：整个Lua脚本在Redis中单线程执行，无并发竞争，杜绝数据不一致
减少网络交互：一次请求发送脚本，服务端执行所有逻辑，返回最终结果
灵活可控：支持循环、判断、变量赋值，实现复杂批量业务（如批量扣减库存、批量更新）

3.2 实操代码示例（批量自增）

import redis.clients.jedis.Jedis;
import java.util.Arrays;
import java.util.List;

public class RedisLuaBatchDemo {
    public static void main(String[] args) {
        // 建立Redis连接
        try (Jedis jedis = new Jedis("localhost", 6379)) {
            // Lua脚本：批量对多个键执行自增操作（原生Redis逻辑不变）
            String luaScript = "local result = {} "
                    + "for i, key in ipairs(KEYS) do "
                    + "    result[i] = redis.call('INCR', key) "
                    + "end "
                    + "return result";

            // 待批量自增的Key列表
            List<String> keys = Arrays.asList("counter:1", "counter:2", "counter:3");
            // 脚本无额外参数，传空列表
            List<String> args = Arrays.asList();

            // 执行Lua脚本（EVAL命令原生调用）
            List<Long> results = (List<Long>) jedis.eval(luaScript, keys, args);
            System.out.println("批量自增结果：" + results);
        }
    }
}

3.3 适用场景与注意事项

适用场景：需要原子性的批量业务、复杂批量逻辑、分布式并发控制场景（如秒杀、库存扣减）。

注意事项：脚本不宜过长过复杂，避免阻塞Redis单线程；严格按规范传递KEYS数组，禁止在脚本内动态生成键，确保集群兼容；避免在脚本中执行耗时操作。

四、补充：Redis事务批处理

Redis通过MULTI/EXEC命令实现事务批处理，本质是将命令缓存到服务端队列，EXEC命令触发批量执行，保证命令按顺序执行，但不保证原子性（某命令失败不回滚）。

# 事务批处理
pipe = r.pipeline(transaction=True)
pipe.multi()
pipe.set('key1', 'val1')
pipe.set('key2', 'val2')
pipe.get('key1')
# 执行事务
results = pipe.execute()

事务批处理适合简单的批量原子执行需求，性能低于Pipeline，灵活性弱于Lua脚本，生产中一般结合Pipeline使用。

五、批处理方案选型对比

M系列命令	强原子	高	极低	需同槽	简单批量读写
Pipeline	非原子（可开启事务）	极高	低	需槽位分组	高吞吐批量操作
Lua脚本	强原子	高	中	良好（KEYS传参）	原子性批量业务
事务批处理	弱原子	中	中	一般	简单顺序批量执行