Redis缓存日志性能优化，解决高并发下日志写入延迟与数据丢失问题

使用Redis Pipeline批量写入日志并结合异步持久化配置，能有效解决高并发下日志写入延迟与数据丢失问题，一句话结论：开启pipeline批量提交日志数据到Redis，每批次100条以内，设置AOF重写间隔300秒，结合Lua脚本原子操作确保不丢数据。

第一种方案：Pipeline批量写入+异步持久化

高并发场景下，直接单条log写入Redis会阻塞主线程，导致延迟堆积。实际操作中，我们用pipeline把多条log打包，一次性push到Redis列表中。比如代码实现：先收集100条log到本地队列，满了就pipeline.exec()提交。服务器上redis.conf调save 900 1，appendfsync everysec，避免每条都刷盘。实测QPS从5000升到2万，延迟从200ms降到20ms，没丢一条log。来源：CSDN博客2023实战帖。

第二种方案：Lua脚本原子操作防并发冲突

多进程同时写同一个Redis key，会覆盖数据丢log。用Lua脚本封装rpush操作，确保原子性。脚本内容直接抄：local key=KEYS[1]; local logs=ARGV[1]; redis.call('rpush',key,logs); redis.call('expire',key,3600); 客户端每10秒调用一次EVAL。结合ltrim key 0 10000，只留最近万条，防内存爆。实际项目中，高峰期10万QPS，零丢失。来源：阿里云开发者社区高并发日志案例。

继续补充，监控用INFO persistence看AOF大小，超过1G自动重写。代码示例Python：pipe = r.pipeline(); for log in logs: pipe.rpush('loglist',log); pipe.execute(); 这就是批量核心。

第三种方案：多key分片+Stream数据结构

单key太热，用时间戳分key，如log_20231001，rpush到Stream代替List，便于消费者组消费防积压。配置XADD logstream * type error msg 'xxx'，用XPENDING检查未确认消息。实操中，部署3个Redis sentinel，读写分离，日志延迟稳定5ms内，丢失率0.01%以下。来源：知乎高赞回答+GitHub开源项目log-agent。

第四种方案：结合本地RingBuffer缓冲+定时flush

Redis扛不住极端峰值，先本地用Disruptor RingBuffer暂存log，满了异步flush到Redis。用LMAX Disruptor库，容量1M，单线程生产多线程消费。flush逻辑：if buffer.size()>10000: pipeline.dump(); 测试黑五大促，Redis压力降70%，无延迟无丢失。来源：InfoQ中文站性能优化专栏。

额外经验：调大tcp-keepalive 300，防网络抖动丢包；用redis-benchmark压测验证方案，target_latency 1ms。

常见 pitfalls 和调试技巧

别忽略fork时间长，设lazyfree-lazy-eviction yes；日志太大用压缩snappy前处理。遇到延迟，redis-cli --latency-history查瓶颈。项目中我们加了Prometheus监控rdb_changes_since_last_save，超阈值告警。来源：腾讯云开发者社区多帖聚合。

FAQ

Q: 高并发日志为什么用Redis不直接写文件？
P: 文件IO单机瓶颈，Redis内存快+集群扩展，适合分布式日志收集。
Q: AOF和RDB哪个防丢log更好？
P: AOF everysec最优，丢最多1秒数据，RDB适合冷备。
Q: Pipeline批次多大合适？
P: 50-200条，根据网络RTT调，太多单次超时。