笙亿网络策划

Redis队列操作全解析，掌握最新技巧，提升数据处理效率

约 6 分钟读完 1 阅
文章导读
Redis作为高性能的内存数据库，支持List数据结构实现队列操作。最基本的队列生产和消费：LPUSH queue item 将元素推入队列头部；RPOP queue 从尾部弹出元素。阻塞式消费用BRPOP queue 0 等待元素；RPUSH queue item 尾部添加。最新技巧：使用BLPOP和BRPOPLPUSH实现可靠队列，避免消息丢失。Lua脚本原子操作：EVAL "redis.ca
📋 目录
  1. 一 Redis List队列基础操作
  2. 二 Streams高级队列技巧
  3. 三 Redis队列优化与最佳实践
  4. 四 可靠消息队列实现
  5. 五 性能调优技巧
  6. 六 实际项目队列应用
A A

Redis作为高性能的内存数据库，支持List数据结构实现队列操作。最基本的队列生产和消费：LPUSH queue item 将元素推入队列头部；RPOP queue 从尾部弹出元素。阻塞式消费用BRPOP queue 0 等待元素；RPUSH queue item 尾部添加。最新技巧：使用BLPOP和BRPOPLPUSH实现可靠队列，避免消息丢失。Lua脚本原子操作：EVAL "redis.call('rpush',KEYS[1],ARGV[1]); if redis.call('llen',KEYS[1]) > 1000 then redis.call('ltrim',KEYS[1],0,-1001) end" 1 queue item 自动限长。Streams数据类型（Redis 5.0+）XADD stream * field value 添加消息，XREAD BLOCK 0 STREAMS stream 0 消费，支持消费者组。代码示例：redis-cli -e "XGROUP CREATE mystream mygroup $ MKSTREAM" 创建组，提升效率用RPOPLPUSH实现延迟重试队列。

Redis List队列基础操作

Redis List是天然的双端队列，支持LPUSH/RPUSH入队，LPOP/RPOP出队。生产者代码：redis.lpush('tasks', json.dumps(task))；消费者：while True: task = redis.brpop('tasks', timeout=5)。为了防止队列暴增，使用LLEN检查长度，超过阈值LTRIM修剪。实际场景中，结合Sorted Set实现优先级队列，ZADD priority_queue score task_id。

Streams高级队列技巧

Redis Streams是现代队列解决方案。创建流：XADD jobs * job_id 123 data hello；读取：XREAD COUNT 10 BLOCK 5000 STREAMS jobs 0；消费者组：XGROUP CREATE jobs group1 $；XREADGROUP GROUP group1 consumer1 COUNT 10 BLOCK 5000 STREAMS jobs >。消息确认：XACK jobs group1 msg_id。最新技巧：使用XPENDING检查未确认消息，XCLAIM转移所有权，实现死信队列和重试机制，大幅提升数据处理可靠性。

Redis队列优化与最佳实践

1. 批量操作：pipeline封装多条LPUSH/RPUSH，减少RTT。2. 持久化：配置AOF日志appendonly yes，确保队列数据不丢。3. 集群模式：使用HASH TAG queue:{1} 保证同一队列在同一槽。4. 监控：INFO keyspace获取队列长度，SLOWLOG监控慢命令。5. 延迟队列：用ZSET存储score为过期时间，定时Z RANGEBYSCORE清理。代码：import redis; r = redis.Redis(); pipe = r.pipeline(); for i in range(100): pipe.lpush('q', i); pipe.execute()。

可靠消息队列实现

传统List队列问题：RPOP丢失网络故障消息。用BRPOPLPUSH source dest timeout到备份队列。消费流程：while msg := brpoplpush('input', 'processing', 10): process(msg); if success: lrem('processing', 1, msg); else: lpush('failed', msg)。Streams更可靠：XADD后XREADGROUP，处理完XACK。最新Redis 7.0+支持ACL权限控制队列访问。

Redis队列操作全解析，掌握最新技巧，提升数据处理效率

性能调优技巧

List队列峰值10万QPS，内存高效。调大maxmemory-policy allkeys-lru。使用UNIX socket连接降低延迟。分片队列：hash(key) % 10生成queue_0~9。监控LLEN > 1M时告警扩容。Lua脚本原子限流：local len=redis.call('llen',KEYS[1]); if len<100 then return redis.call('lpush',KEYS[1],ARGV[1]) else return 0 end。

实际项目队列应用

电商秒杀：LPUSH order_queue user_order，多个worker BRPOP消费。日志处理：批量RPUSH log_stream line，XREAD消费入ES。任务调度：ZADD cron_jobs timestamp task，定时ZRANGEBYSCORE执行。结合Pub/Sub实现广播队列：PUBLISH channel data，SUBSCRIBE channel消费。

FAQ
Q: Redis List和Streams哪个适合队列？
A: List简单高效适合基本队列，Streams支持ACK和消费者组适合复杂可靠场景。
Q: 如何防止队列消息丢失？
A: 用BRPOPLPUSH备份，或Streams消费者组+XACK确认。
Q: 队列满了怎么处理？
A: LTRIM自动修剪，或LLEN检查拒绝新消息。
Q: Redis队列能持久化吗？
A: 开启AOF或RDB，List/Streams数据会持久化。
Q: 集群环境下队列怎么用？
A: 用HASH TAG如queue:{id}确保原子性。