玩转Redis - 如何高效访问Redis中的海量数据

前言

Redis以高性能著称,但性能再好,在面对海量数据时,若不正确的使用,也终将会有性能瓶颈,甚至造成服务宕机。

在实际项目中你是否会有以下疑问?

  • 如何访问Redis中的海量数据,却不影响其他请求访问Redis?
  • Redis中有百万/千万数据,如何高效访问?
  • Redis中数据量太大,如何既保证快速访问,又不至于使服务宕机?

思考

Q1:为什么Redis中的数据量很大时,某些数据操作会导致Redis卡顿,甚至宕机?

A1:Redis是单线程服务,所有指令都是顺序执行,当某一指令耗时很长时,就会阻塞后续的指令执行。当被积压的指令越来越多时,Redis服务占用CPU将不断升高,最终导致Redis实例崩溃甚至服务器宕机。

Q2:利用万能的keys命令查询任何想查的数据?

A2:自己电脑几万条数据玩玩就好了,线上使用keys命令,Excuse me?你想卷铺盖走人了吧。

某公司php工程师执行redis keys *导致数据库宕机! 技术部发生2起本年度PO级特大事故,造成公司资金损失400万。这条新闻记忆犹新,警钟长鸣!

Q3:Redis中海量数据的正确操作方式

A3:利用SCAN系列命令(SCAN、SSCAN、HSCAN、ZSCAN)完成数据迭代。

SCAN系列命令详解

SCAN系列命令,并不单纯指代SCAN命令,还包含SSCANHSCANZSCAN,每种命令操作对象是有区别的,但用法及功能基本相同

SCAN系列命令对比分析

  • cursor:迭代游标
  • MATCH:数据匹配模式
  • COUNT:迭代返回数量
命令 功能 参数 返回值
SCAN 基于游标迭代DB cursor [MATCH pattern] [COUNT count] 返回数组,第1个值是下一次迭代的游标(无符号64bit),第2个值是元素列表(key列表)
SSCAN 基于游标迭代Sets key cursor [MATCH pattern] [COUNT count] 返回数组,第1个值是下一次迭代的游标(无符号64bit),第2个值是元素列表
HSCAN 基于游标迭代Hashes key cursor [MATCH pattern] [COUNT count] 返回数组,第2个值是field-value列表
ZSCAN 基于游标迭代ZSets key cursor [MATCH pattern] [COUNT count] 返回数组,第2个值是member-score列表

SCAN系列命令注意事项

  • SCAN的参数没有key,因为其迭代对象是DB内数据
  • 返回值都是数组,第一个值都是下一次迭代游标
  • 时间复杂度:每次请求都是O(1),完成所有迭代需要O(N),N是元素数量
  • 可用版本:version >= 2.8.0

SCAN系列命令详解

增量迭代,可用于生产环境

并不像KEYSSMEMBERS一样是全量迭代,对大集合执行时可能阻塞服务很长时间

不保证准确结果

SMEMBERS可以返回整个set的元素,而SCAN这类增量迭代命令可能出现迭代过程中元素被改变,所以并不能保证准确的返回结果

基于游标迭代

  • SCAN基于游标迭代,每次请求将返回下一次需要使用的游标
  • 游标cursor可以比DB元素总量大,可以为负数
  • 错误游标:使用间断(不是迭代返回的)、负数、超出范围或其他非法游标,迭代不会报错,可能产生未定义行为(无法保证准确性)

迭代结束标记

  • SCAN返回的游标不一定递增,某次迭代返回的元素数量可能为0
  • 返回元素列表为空,不代表迭代结束
  • 一个完整的迭代:SCAN游标从0开始,返回游标为0结束
  • 迭代状态由返回的游标控制。可以并发执行迭代;可随时终止迭代

迭代完整性

  • 遍历开始到遍历结束一直存在的数据,一定能被迭代返回
  • 同一个元素可能返回多次,数据去重应由应用程序完成
  • 在迭代过程中增删的元素,可能返回,可能不返回
  • 当数据类型是sets(由integer组成)、hashes、sorted sets且集合较小时,迭代将返回整个集合的数据,与count无关
  • 迭代结束保证:元素添加速率小于迭代速率

why有时迭代直接返回整个集合

  • 底层数据结构是hash时,如果数据量较小,Redis有内存优化策略,会使用紧凑的压缩编码。此时SCAN操作并不是返回有意义的游标,而是迭代整个集合
  • 数据量较小?参见官方memory-optimization(内存优化)说明

参数count说明

  • count默认值是10
  • 数据集较大时,如果没有使用match,返回元素为count或比count略大
  • 每次迭代的count参数值可以不同,只要使用上次迭代返回的游标即可

参数match说明

  • 和keys的pattern类似
  • MATCH操作是在检索出数据到返回元素前的期间执行,所以如果被匹配的元素较少,那么可能多次迭代返回的元素列表均为空

SCAN系列命令示例

SCAN示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
// SCAN返回数据为空就是迭代结束了吗
127.0.0.1:6378> keys k?
1) "k1"
2) "k2"
127.0.0.1:6378> SCAN 0 MATCH k?
1) "88"
2) (empty list or set)
127.0.0.1:6378> SCAN 88 MATCH k?
1) "34"
2) 1) "k1"
127.0.0.1:6378> SCAN 34 MATCH k?
1) "122"
2) (empty list or set)
127.0.0.1:6378> SCAN 122 MATCH k?
1) "14"
2) (empty list or set)
127.0.0.1:6378> SCAN 14 MATCH k?
1) "33"
2) (empty list or set)
127.0.0.1:6378> SCAN 33 MATCH k?
1) "53"
2) (empty list or set)
127.0.0.1:6378> SCAN 53 MATCH k?
1) "93"
2) (empty list or set)
127.0.0.1:6378> SCAN 93 MATCH k?
1) "107"
2) 1) "k2"
127.0.0.1:6378> SCAN 107 MATCH k?
1) "79"
2) (empty list or set)
127.0.0.1:6378> SCAN 79 MATCH k?
1) "0"
2) (empty list or set)
127.0.0.1:6378>

看上述示例,匹配k?的数据实际有2条k1k2,在整个迭代过程中,多次返回数据为空,但是迭代未曾结束(因为k1k2没有全部迭代返回)。

所以,只有当游标返回为0时,才能说明迭代结束了。

SSCAN示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
// SSCAN示例
127.0.0.1:6378> SADD sscantest sscantest:1 1 sscantest:2 2 sscantest:3 3 sscantest:4 4 sscantest:1a 1a sscantest:2a 2a sscantest:1ab 1ab sscantest:a1 a1 sscantest:aa1 aa1
(integer) 0
// MATCH ?:无匹配数据
127.0.0.1:6378> SSCAN sscantest 0 MATCH ? COUNT 1
1) "24"
2) (empty list or set)
127.0.0.1:6378> SSCAN sscantest 24 MATCH ? COUNT 1
1) "20"
2) (empty list or set)
127.0.0.1:6378> SSCAN sscantest 0 MATCH * COUNT 1
1) "24"
2) 1) "sscantest:3"
2) "sscantest:2a"
127.0.0.1:6378> SSCAN sscantest 24 MATCH * COUNT 1
1) "20"
2) 1) "a1"

HSCAN示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
// HSCAN示例
127.0.0.1:6378> HMSET hscantest hscantest:1 1 hscantest:2 2 hscantest:3 3 hscantest:4 4 hscantest:1a 1a hscantest:2a 2a hscantest:1ab 1ab hscantest:a1 a1 hscantest:aa1 aa1
OK
127.0.0.1:6378> HSCAN hscantest 0 MATCH hscantest*a COUNT 20
1) "0"
2) 1) "hscantest:1a"
2) "1a"
3) "hscantest:2a"
4) "2a"
127.0.0.1:6378> HSCAN hscantest 0 MATCH hscantest*a COUNT 2
1) "0"
2) 1) "hscantest:1a"
2) "1a"
3) "hscantest:2a"
4) "2a"
127.0.0.1:6378>

从HSCAN示例可以看出,即使count参数为2,也返回了所有匹配的结果。这就是先前提到的,数据量较小时,直接返回所有数据。

ZSCAN示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
// ZSCAN示例
// 【移除】并弹出count个分数最大的元素,count默认为1
127.0.0.1:6378> ZPOPMAX zscantest 20
1) "sscantest:1ab"
2) "6"
3) "sscantest:2a"
4) "5"
5) "sscantest:1a"
6) "4"
7) "sscantest:3"
8) "3"
9) "zscantest:1"
10) "2"
11) "sscantest:2"
12) "2"
13) "test1"
14) "1"
15) "sscantest:1"
16) "1"
127.0.0.1:6378> ZPOPMAX zscantest 20
(empty list or set)
127.0.0.1:6378> ZADD zscantest 1 zscantest:1 2 zscantest:2 3 zscantest:3 4 zscantest:1a 5 zscantest:2a 6 zscantest:1ab 7 zscantest:a1 8 zscantest:aa1
(integer) 8
// NX:不存在才添加;CH:返回被改变(含新增)的元素个数
127.0.0.1:6378> ZADD zscantest NX CH 1 test1 2 zscantest:1
(integer) 1
127.0.0.1:6378> ZSCAN zscantest 0 MATCH *a COUNT 5
1) "0"
2) 1) "zscantest:1a"
2) "4"
3) "zscantest:2a"
4) "5"
127.0.0.1:6378>

总结

看看面试时你能答上几个问题

  • SCAN迭代可以并发吗?
  • SCAN返回数据为空就是迭代结束了吗?
  • 如果首次迭代cursor参数不是0,能实现完整迭代吗?
  • 可以严格控制每次迭代返回的数据量吗?
  • 迭代返回的数据一定完整吗?
  • 为什么迭代返回的元素列表可能为空?

部分问题解答

SCAN返回数据为空就是迭代结束了吗

看上述示例,匹配k?的数据实际有2条k1k2,在整个迭代过程中,多次返回数据为空,但是迭代未曾结束(因为k1k2没有全部迭代返回)。

所以,只有当游标返回为0时,才能说明迭代结束了。

如果首次迭代cursor参数不是0,能实现完整迭代吗?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
// 如果首次迭代cursor参数不是0,能实现完整迭代吗?
127.0.0.1:6378> keys k?
1) "k1"
2) "k2"
127.0.0.1:6378> SCAN 66 MATCH k?
1) "122"
2) (empty list or set)
127.0.0.1:6378> SCAN 122 MATCH k?
1) "14"
2) (empty list or set)
127.0.0.1:6378> SCAN 14 MATCH k?
1) "33"
2) (empty list or set)
127.0.0.1:6378> SCAN 33 MATCH k?
1) "53"
2) (empty list or set)
127.0.0.1:6378> SCAN 53 MATCH k?
1) "93"
2) (empty list or set)
127.0.0.1:6378> SCAN 93 MATCH k?
1) "107"
2) 1) "k2"
127.0.0.1:6378> SCAN 107 MATCH k?
1) "79"
2) (empty list or set)
127.0.0.1:6378> SCAN 79 MATCH k?
1) "0"
2) (empty list or set)
127.0.0.1:6378>

看上述示例,匹配k?的数据实际有2条k1k2,当第一次SCAN使用cursor为66,我们可以发现经过多次迭代,游标返回为0时,k1一直未曾被迭代返回。

所以,如果首次迭代cursor参数不是0,不能实现完整迭代。

完整迭代必须是游标从0开始,游标到0结束

转载至:https://my.oschina.net/zxiaofan/blog/3130530

Powered by AppBlog.CN     浙ICP备14037229号

Copyright © 2012 - 2021 APP开发技术博客 All Rights Reserved.

访客数 : | 访问量 :