Redis 模糊搜索性能优化的核心在于避免全量扫描。首选策略是禁止使用阻塞式的 KEYS 命令，改用非阻塞的 SCAN 命令进行迭代查询。其次，通过设计合理的键结构，如使用有序集合（Sorted Set）建立索引或将数据拆分存储，将模糊查询转化为精确查找或范围查找。对于海量数据，可引入布隆过滤器预筛选数据，减少无效查询。若业务场景极其复杂，建议结合 Elasticsearch 等外部搜索引擎，利用 Redis 做缓存加速，平衡内存、延迟及实时性需求，从而显著提升查询效率。

redis 的模糊查询提高效率

Redis 中进行模糊查询 (例如使用 KEYS pattern 或 SCAN cursor MATCH pattern) 本质上效率是相对较低的，尤其是在大型数据集上，因为 Redis 的核心优势在于通过精确键进行 O(1) 复杂度的快速访问，而模糊查询通常需要遍历键空间。提高 Redis 模糊查询效率的核心策略是：避免在运行时进行全键空间扫描！以下是一些有效的方法来提高效率或规避效率瓶颈：🛑 1. 避免使用 KEYS 命令 (最重要!) 问题:KEYS 命令会阻塞 Redis 服务，直到遍历完所有键并返回匹配结果。在生产环境的大数据集上，这可能导致服务不可用。解决方案：绝对禁止 在生产环境使用 KEYS。使用 SCAN 替代。🔍 2. 使用 SCAN 命令进行迭代式查询 原理:SCAN 命令使用游标 (cursor) 进行迭代，每次只返回一小部分匹配的键。它不会阻塞服务器，因为每次调用只占用少量时间。优点：非阻塞：不会导致服务停顿。增量式：可以分批处理结果，减轻客户端和服务端压力。缺点：不是原子快照：在迭代过程中，如果键空间发生变化 (增、删、改),可能会看到重复的键或遗漏部分键。这通常可以接受。整体耗时可能不短：虽然每次调用快，但要获取所有匹配结果，最终需要完成的“工作总量”和 KEYS 类似 (都需要遍历大部分或全部键空间)。客户端逻辑复杂：需要管理游标和循环。用法：bash SCAN0 MATCH user:profile:*:email COUNT100 0 是起始游标 (第一次调用)。MATCH pattern 指定模糊匹配模式 (可选)。COUNT n 建议每次迭代返回的元素数量 (只是个提示，Redis 可能返回更多或更少)。适当增加 COUNT(如 500, 1000) 可以在网络往返次数和单次耗时之间取得平衡，提高整体效率。变种:SSCAN(扫描 Set),HSCAN(扫描 Hash),ZSCAN(扫描 Sorted Set)。这些用于扫描特定键内部的大集合元素，避免阻塞或大结果集。🧠 3. 设计可查询的键结构 (最重要的优化方向!) 核心思想是将运行时扫描转化为精确查找或小范围查找。这通常需要牺牲一些存储空间 (空间换时间) 和增加写入/更新时的维护成本。a) 使用索引集合 (Index Set): 场景：查询具有特定前缀、后缀或中间部分的键 (如 user:123:profile,order:abc:details)。方法：创建一个专门的 Set 类型键 (如 index:user:ids)。每当创建一个新用户键 (如 SET user:123:profile {}),同时将 123 添加到索引集合 (SADD index:user:ids 123)。当需要查询所有用户键时，使用 SMEMBERS index:user:ids 或 SSCAN index:user:ids 获取所有用户 ID。客户端拿到 ID 列表后，再通过精确键 (GET user::profile) 获取数据。

Redis 模糊查找优化提速减少查询时间 (redis 模糊查找的效率)

在实际应用中，很多时候我们需要对 Redis 中的一些数据进行模糊查找，例如模糊匹配某个关键字。但是，Redis 的模糊查找并不是非常高效，如果用传统的方法，查询时间可能会非常长。本文将介绍一些优化 Redis 模糊查找的方法，以减少查询时间，提高系统性能。1、利用 Redis 的 set 结构来进行模糊查找 在处理模糊查找时，通常会有一组包含关键字的集合。我们可以使用 Redis 的 set 结构存储这组数据，并利用 Redis 提供的 sunion 命令，将多个包含关键字的集合求并集，从而得到最终的结果。这种方法可以大幅度减少查询时间，尤其是在数据集非常大的情况下。下面是一个示例代码："`python # 将包含关键字"hello"的元素添加到 set 结构中，key 为"myset"redis.sadd("myset", "hello1") redis.sadd("myset", "world1") redis.sadd("myset", "hello2") redis.sadd("myset", "world2") # 进行模糊查找，并返回结果 result = redis.sunion("myset", "hello*") # ['hello1', 'hello2'] 2、利用 Redis 的 zset 结构来进行模糊查找 除了 set 结构外，我们还可以使用 zset 结构来进行模糊查找。与 set 结构不同的是，zset 结构可以为集合中的每个元素设置一个分数，同时支持按照分数范围进行查找。在进行模糊查找时，我们可以将关键字作为分数，这样就可以利用 Redis 提供的 zrangebyscore 命令进行模糊查找。下面是一个示例代码：```python # 将包含关键字"hello"的元素添加到 zset 结构中，key 为"myzset",分数为 1 redis.zadd("myzset", {"hello1": 1, "world1": 2, "hello2": 1, "world2": 2}) # 进行模糊查找，并返回结果 result = redis.zrangebyscore("myzset", 1, 1) print(result) # ['hello1', 'hello2'] 3、利用 Redis 的 scan 命令来进行模糊查找 除了 set、zset 结构外，我们还可以使用 Redis 提供的 scan 命令来进行模糊查找。该命令支持模糊查找，并且可以一边扫描一边返回结果，从而减少查询时间。同时，scan 命令还支持设置扫描条数，这样就可以控制一次扫描的数据量，避免一次性扫描大量数据而导致的性能问题。下面是一个示例代码："`python # 进行模糊查找，并返回结果 result = [] for key in redis.scan_iter("hello*"): result.append(key) print(result) print(result) # ['hello1', 'hello2']

Redis 高效模糊查询实战：从 keys 到 scan 的演进与优化

1.Redis 模糊查询的常见场景与痛点 在日常开发中，我们经常需要根据特定模式查找 Redis 中的键。比如统计所有以"user_session_"开头的键，或者查找包含特定日期格式的键。这种需求在缓存清理、数据统计和系统监控中非常常见。Redis 提供了两种主要的模糊查询方式:keys 和 scan。很多开发者第一次接触 Redis 模糊查询时，都会本能地使用 keys 命令，因为它简单直接。比如要查找所有用户会话键，直接运行 keys user_session_*就能立即得到结果。但这种方式在生产环境中可能会带来严重问题。我曾在项目中遇到过这样一个案例：一个在线教育平台在高峰期突然出现 Redis 响应变慢，最终发现是因为某个定时任务使用了 keys 命令扫描数百万个键。由于 Redis 是单线程模型，这个操作直接阻塞了其他所有请求，导致整个系统响应变慢。2. keys 命令的原理与风险 2.1 keys 命令的工作机制 keys 命令的实现原理很简单：它会遍历整个 Redis 数据库的所有键，然后返回匹配指定模式的结果。这个模式支持三种通配符:*:匹配任意数量字符 ?:匹配单个字符 []:匹配括号内的任一字符 例如：# 匹配所有以"order_"开头的键 keys order_* # 匹配所有第三个字符是 a 的 5 字符键 keys ??a?? AI 写代码 bash 2.2 keys 命令的性能风险 keys 命令最大的问题是它的时间复杂度是 O(n),n 是数据库中键的总数。在键数量很大的情况下，这个操作会非常耗时。更严重的是，由于 Redis 的单线程特性，在执行 keys 命令期间，Redis 无法处理其他任何请求。我曾经测试过一个包含 1000 万键的 Redis 实例，执行 keys *

性能最大化 Redis 实现模糊过滤效率优化 (redis 获取模糊过滤)

1.索引优化 对于包含大量数据的 Redis 数据库，为了提高检索数据的速度，需要对数据进行适当的索引优化。如使用 Redis 的 SortedSet 数据结构，将需要进行模糊过滤的数据分解为多个简单、小规模的数据对象，然后把这些数据对象分别存储在 SortedSet 里面，每个对象的分数即为其权重。在进行模糊查找时，只需根据相应的查询条件，通过 SortedSet 的有序性质，快速定位到相应的数据区间，即可实现高效的模糊过滤效果。具体示例如下：# 将需要进行模糊过滤的数据拆分成多个小的数据对象 for data in datas: # 将数据中的关键字拆分成多个子串 for keyword in keywords: # 将子串加入 SortedSet，分数为其权重 redis.zadd(keyword, {data: data.count(keyword)}) # 查询包含关键字'str'的数据 result = redis.zrangebyscore('str', '+inf', '-inf') 2.布隆过滤器 对于大型的 Redis 数据库，受到内存限制的影响，不能存储所有的数据，因此需要使用布隆过滤器来过滤掉一部分数据。布隆过滤器是一种数据结构，可以快速判断一个元素是否属于一个集合，且其空间占用率极低。使用布隆过滤器可以避免一些没有查询价值的数据被查询，从而提高查询效率。具体实现如下：from bitarray import bitarray import mmh3 class BloomFilter: def __init__(self, size, hash_num): self.size = size self.hash_num = hash_num self.bit_array = bitarray(size) self.bit_array.setall(0) def add(self, string): for seed in range(self.hash_num): result = mmh3.hash(string, seed) % self.size self.bit_array[result] = 1 def lookup(self, string): for seed in range(self.hash_num): result = mmh3.hash(string, seed) % self.size if self.bit_array[result] == 0: return False return True bloomfilter = BloomFilter(1000000, 10) # 将需要进行模糊过滤的数据添加到布隆过滤器中 for data in datas: bloomfilter.add(data) # 查询包含关键字'str'的数据 result = [] for data in datas: if bloomfilter.lookup(data): if'str'in data:（

redis 中数据模糊查询 scan 用法详解

Redis 模糊查询应避免 KEYS，改用 SCAN 非阻塞迭代，优先优化键结构 (如 IndexSet、SortedSet),提升效率，复杂场景可结合外部搜索引擎，平衡内存、延迟及实时性需求，本文给大家介绍 redis 中数据模糊查询 scan 用法，感兴趣的朋友一起看看吧 GPT4.0+Midjourney 绘画 + 国内大模型 会员永久免费使用! 【如果你想靠 AI 翻身，你先需要一个靠谱的工具!】redis 中数据模糊查找-scan 用法 1.查找方法 Redis 中有一个经典的问题，在巨大的数据量的情况下，做类似于查找符合某种规则的 Key 的信息，这里就有两种方式，一是 keys 命令，简单粗暴，由于 Redis 单线程这一特性，keys 命令是以阻塞的方式执行的，keys 是以遍历的方式实现的复杂度是 O(n),Redis 库中的 key 越多，查找实现代价越大，产生的阻塞时间越长。二是 scan 命令，以非阻塞的方式实现 key 值的查找，绝大多数情况下是可以替代 keys 命令的，可选性更强 2.keys 命令 127.0.0.1:6379> keys s* 1) "s1" 2) "sddddf" 3) "sss" 4) "s358" 127.0.0.1:6379> 3.scan 命令 SCAN cursor [MATCH pattern] [COUNT count] cursor - 游标。pattern - 匹配的模式。count - 指定从数据集里返回多少元素，默认值为 10。可用版本 >= 2.8.0 示例：127.0.0.1:6379> keys s* 1) "s1" 2) "sddddf" 3) "sss" 4) "s358" 127.0.0.1:6379> scan 0 match s* count 20 1) "0" 2) 1) "s1" 2) "sss" 3) "s358" 4) "sddddf" 127.0.0.1:6379> scan 0 match s* count 2 1) "4" 2) 1) "s1" 127.0.0.1:6379> scan 4 match s* count 2 1) "1" 2) 1) "sss" 2) "s358" 127.0.0.1:6379> scan 1 match s* count 2 1) "3" 2) 1) "sddddf" SCAN 命令是一个基于游标的迭代器，每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数，以此来延续之前的迭代过程。4.Java 代码中的实现 publicSet scan(String matchKey) { Set keys = redisTemplate.execute((RedisCallback>) connection -> { Set keysTmp = newHashSet<>(); Cursor cursor = connection.scan( newScanOptions.ScanOptionsBuilder().match("*"+ matchKey + "*").count(1000).build() while(cursor.hasNext()) { keysTmp.add(newString(cursor.next())); returnkeysTmp; returnkeys;

FAQ

为什么生产环境禁止使用 KEYS 命令？

因为 KEYS 命令时间复杂度为 O(n)，会遍历所有键，阻塞单线程的 Redis 服务，导致其他请求无法处理。

SCAN 命令相比 KEYS 有什么优势？

SCAN 基于游标迭代，非阻塞，每次只返回少量结果，不会长时间占用服务器资源。

如何设计键结构来优化模糊查询？

使用索引集合（Index Set）或有序集合（Sorted Set），将模糊查询转化为精确查找或范围查找。

布隆过滤器在模糊查询中有什么作用？

布隆过滤器可以快速判断元素是否存在，过滤掉无查询价值的数据，减少内存占用和查询次数。

复杂模糊查询场景还有什么替代方案？

可以结合外部搜索引擎（如 Elasticsearch），Redis 负责缓存和精确查询，搜索引擎负责复杂模糊检索。