Redis生产环境架构选型方案对比

沙海 2021年8月27日01:24:01Java评论31字数 4374阅读14分34秒阅读模式
摘要

智能摘要

智能摘要文章源自JAVA秀-https://www.javaxiu.com/42657.html

云数据库Redis 5.0版本大幅度优化内核,运行更加稳定,同时新增Stream、账号管理、审计日志等多种特性,满足您更多场景下的使用需求。主节点对外提供访问,用户可通过Redis命令行和通用客户端进行数据的增删改查操作。如排序、计算类较多的业务建议选用集群版配置。在某个只读实例异常期间,Proxy会自动降低该节点的服务权重,发现只读节点连续失败超过一定次数以后,会停止异常节点的服务权利,并具备继续监控后续重新启动节点服务的能力。文章源自JAVA秀-https://www.javaxiu.com/42657.html

原文约 2591 | 图片 13 | 建议阅读 6 分钟 | 评价反馈文章源自JAVA秀-https://www.javaxiu.com/42657.html

Redis生产环境架构选型方案对比

点击关注 ? 不装逼的程序员 文章源自JAVA秀-https://www.javaxiu.com/42657.html

推荐使用更新的引擎版本以支持更多的特性。

Redis 6.0新特性说明:

  • 模块系统新增多个API。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 支持SSL/TLS加密。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 支持新的Redis协议:RESP3。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 服务端支持多模式的客户端缓存。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 支持多线程IO。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 副本中支持无盘复制(diskless replication)。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • Redis-benchmark新增了Redis集群模式。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 支持重写Systemd。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 支持Disque模块。文章源自JAVA秀-https://www.javaxiu.com/42657.html

Redis 5.0新特性说明

  • 云数据库Redis 5.0版本大幅度优化内核,运行更加稳定,同时新增Stream、账号管理、审计日志等多种特性,满足您更多场景下的使用需求。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 新的数据类型:流数据(Stream)。详细说明请参见Redis Streams。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 新增账号管理功能。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 新增日志管理功能,支持审计日志、运行日志和慢日志,您可以通过日志管理查询读写操作、敏感操作(如KEYS、FLUSHALL)和管理类命令的使用记录以及慢日志。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 新增基于快照的缓存分析功能。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 新的定时器(Timers)、集群( Cluster)和字典(Dictionary)模块的API。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • RDB中增加LFU和LRU信息。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 集群管理器从Ruby (redis-trib.rb)移植到了redis-cli中的C语言代码。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 新增有序集合(Sorted Set)命令ZPOPMIN、ZPOPMAX、BZPOPMIN和BZPOPMAX。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 升级Active Defragmentation至v2版本。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 增强HyperLogLog的实现。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 优化内存统计报告。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 为许多有子命令的命令增加了HELP子命令。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 提高了客户端频繁连接和断开连接时的性能表现。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 升级Jemalloc至5.1版本。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 新增命令CLIENT ID和CLIENT UNBLOCK。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 新增了为艺术而生的LOLWUT命令。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 弃用slave术语(需要API向后兼容的情况例外)。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 对网络层进行了多处优化。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 进行了一些Lua相关的改进。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 新增动态HZ(Dynamic HZ)以平衡空闲CPU使用率和响应性。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 对Redis核心代码进行了重构并在许多方面进行了改进。文章源自JAVA秀-https://www.javaxiu.com/42657.html

Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

-     架构    -文章源自JAVA秀-https://www.javaxiu.com/42657.html

您需要根据业务需求选择:文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 集群架构可轻松突破Redis自身单线程瓶颈,满足大容量、高性能的业务需求。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 主从架构,提供高性能的缓存服务和数据高可靠。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 读写分离架构提供高可用、高性能、高灵活的读写分离服务,解决热点数据集中及高并发读取的业务需求,最大化地节约用户运维成本。文章源自JAVA秀-https://www.javaxiu.com/42657.html

2.1 主从架构-双副本

采用主从(master-replica)模式搭建。主节点提供日常服务访问,备节点提供HA高可用,当主节点发生故障,系统会自动在30秒内切换至备节点,保证业务平稳运行。文章源自JAVA秀-https://www.javaxiu.com/42657.html

Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

-     可靠性    -文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 服务可靠采用双机主从(master-replica)架构,主从节点位于不同物理机。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    主节点对外提供访问,用户可通过Redis命令行和通用客户端进行数据的增删改查操作。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    当主节点出现故障,HA系统会自动进行主从切换,保证业务平稳运行。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 数据可靠默认开启数据持久化功能,数据全部落盘。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    支持数据备份功能,用户可以针对备份集回滚实例或者克隆实例,有效地解决数据误操作等问题。文章源自JAVA秀-https://www.javaxiu.com/42657.html

Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

-     使用场景    -文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • Redis作为持久化数据存储使用的业务标准版提供持久化机制及备份恢复机制,极大地保证数据可靠性。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 单个Redis性能压力可控的业务由于Redis原生采用单线程机制,性能在10万QPS以下的业务建议使用。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    如果需要更高的性能要求,请选用集群版本。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • Redis命令相对简单,排序、计算类命令较少的业务由于Redis的单线程机制,CPU会成为主要瓶颈。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    如排序、计算类较多的业务建议选用集群版配置。文章源自JAVA秀-https://www.javaxiu.com/42657.html

2.2 主从架构-单副本

可以在没有数据可靠性要求的纯缓存场景充分发挥性能优势。文章源自JAVA秀-https://www.javaxiu.com/42657.html

使用场景

  • 纯缓存类业务场景文章源自JAVA秀-https://www.javaxiu.com/42657.html

单副本版本只有一个数据库节点,节点出现故障时,系统会重新拉起一个Redis进程(没有数据),当节点故障业务自动切换完成后,应用程序需要将数据重新预热,以免对后端数据库产生访问压力冲击。文章源自JAVA秀-https://www.javaxiu.com/42657.html

单副本架构不能提供数据可靠性,如果发生节点故障,您需要重新对业务进行预热,因此,在对数据可靠性要求较高的敏感性业务中,建议选用双副本架构。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 单个Redis性能压力可控文章源自JAVA秀-https://www.javaxiu.com/42657.html

由于Redis原生采用单线程机制,CPU为单核能力,性能在8万QPS的业务建议使用。如果需要更高的性能要求,请选用集群版配置。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • Redis命令相对简单,排序、计算类命令较少文章源自JAVA秀-https://www.javaxiu.com/42657.html

由于Redis的单线程机制,CPU为主要瓶颈。如排序、计算类较多的业务建议选用集群版配置。文章源自JAVA秀-https://www.javaxiu.com/42657.html

2.3 集群版-双副本

可轻松突破Redis自身单线程瓶颈,满足大容量、高性能的业务需求。双副本集群版实例采用集群架构,每个分片服务器采用主从(master-replica)双副本模式。集群版支持代理和直连两种连接模式,您可以根据本章节的说明,选择适合业务需求的连接模式。文章源自JAVA秀-https://www.javaxiu.com/42657.html

Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

-     代理模式    -文章源自JAVA秀-https://www.javaxiu.com/42657.html

集群架构的本地盘实例默认采用代理(proxy)模式,支持通过一个统一的连接地址(域名)访问Redis集群,客户端的请求通过代理服务器转发到各数据分片,代理服务器、数据分片和配置服务器均不提供单独的连接地址,降低了应用开发难度和代码复杂度。代理模式的服务架构图和组件说明如下。文章源自JAVA秀-https://www.javaxiu.com/42657.html

Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

直连模式

因所有请求都要通过代理服务器转发,代理模式在降低业务开发难度的同时也会小幅度影响Redis服务的响应速度。文章源自JAVA秀-https://www.javaxiu.com/42657.html

如果业务对响应速度的要求非常高,您可以使用直连模式,绕过代理服务器直接连接后端数据分片,从而降低网络开销和服务响应时间。直连模式的服务架构和说明如下。文章源自JAVA秀-https://www.javaxiu.com/42657.html

Redis生产环境架构选型方案对比前提条件 使用Jedis、PhpRedis等支持Redis Cluster的客户端。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 使用不支持Redis Cluster的客户端,可能因客户端无法重定向请求到正确的分片而获取不到需要的数据。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • Jedis对于Redis Cluster的支持是基于JedisCluster这个类,详细说明请参见Jedis文档。文章源自JAVA秀-https://www.javaxiu.com/42657.html

  • 您可以在Redis官网的客户端列表里查找更多支持Redis Cluster的客户端。文章源自JAVA秀-https://www.javaxiu.com/42657.html

使用自定义连接池的示例代码 :文章源自JAVA秀-https://www.javaxiu.com/42657.html

    import redis.clients.jedis.*;import java.util.HashSet;import java.util.Set; publicclassmain{privatestaticfinalint DEFAULT_TIMEOUT = 2000; privatestaticfinalint DEFAULT_REDIRECTIONS = 5;privatestaticfinal JedisPoolConfig DEFAULT_CONFIG = new JedisPoolConfig();publicstaticvoidmain(String args[]){ JedisPoolConfig config = new JedisPoolConfig();// 最大空闲连接数, 根据业务需要设置,不能超过实例规格规定的最大的连接数 config.setMaxIdle(200);// 最大连接数, 根据业务需要设置,不能超过实例规格规定的最大的连接数 config.setMaxTotal(300); config.setTestOnBorrow(false); config.setTestOnReturn(false);// 开通直连访问时申请到的直连地址 String host = "r-bp1xxxxxxxxxxxx.redis.rds.aliyuncs.com"; int port = 6379;// 实例的密码 String password = "xxxxx"; Set<HostAndPort> jedisClusterNode = new HashSet<HostAndPort>(); jedisClusterNode.add(new HostAndPort(host, port)); JedisCluster jc = new JedisCluster(jedisClusterNode, DEFAULT_TIMEOUT, DEFAULT_TIMEOUT, DEFAULT_REDIRECTIONS,password, "clientName", config);}}
    文章源自JAVA秀-https://www.javaxiu.com/42657.html

    2.4 集群版-单副本文章源自JAVA秀-https://www.javaxiu.com/42657.html

    Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

    Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

    2.5 读写分离版

    针对读多写少的业务场景,提供高可用、高性能、灵活的读写分离服务,满足热点数据集中及高并发读取的业务需求,最大化地节约运维成本。读写分离版主要由主备节点、只读节点、Proxy(代理)节点和高可用系统组成。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

    Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

    Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

    -     特点    -文章源自JAVA秀-https://www.javaxiu.com/42657.html

    特点

    • 高可用文章源自JAVA秀-https://www.javaxiu.com/42657.html

    1. 通过自研的高可用系统自动监控所有数据节点的健康状态,为整个实例的可用性保驾护航。文章源自JAVA秀-https://www.javaxiu.com/42657.html

      主节点不可用时自动选择新的主节点并重新搭建复制拓扑。文章源自JAVA秀-https://www.javaxiu.com/42657.html

      某个只读节点异常时,高可用系统能够自动探知并重新启动新节点完成数据同步,下线异常节点。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    2. Proxy节点实时感知每个只读实例的服务状态。文章源自JAVA秀-https://www.javaxiu.com/42657.html

      在某个只读实例异常期间,Proxy会自动降低该节点的服务权重,发现只读节点连续失败超过一定次数以后,会停止异常节点的服务权利,并具备继续监控后续重新启动节点服务的能力。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    • 高性能文章源自JAVA秀-https://www.javaxiu.com/42657.html

    1. 读写分离版采取链式复制架构,可以通过扩展只读实例个数使整体实例性能呈线性增长,同时基于源码层面对Redis复制流程的定制优化,可以最大程度地提升线性复制的系统稳定性,充分利用每一个只读节点的物理资源。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    Redis生产环境架构选型方案对比文章源自JAVA秀-https://www.javaxiu.com/42657.html

    -     使用场景    -文章源自JAVA秀-https://www.javaxiu.com/42657.html

    • 读取请求QPS(Queries Per Second)压力较大文章源自JAVA秀-https://www.javaxiu.com/42657.html

    标准版Redis无法支撑较大的QPS,如果业务类型是读多写少类型,需要采用多个只读节点的部署方式来突破Redis单线程的性能瓶颈。Redis集群版提供1个、3个、5个只读节点的配置,相比标准版可以将QPS提升近5倍。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    对Redis协议兼容性要求较高的业务 读写分离版完全兼容Redis协议命令,可将自建Redis数据库迁移至读写分离版,同时支持从Redis标准版(双副本)一键平滑升级至读写分离版。文章源自JAVA秀-https://www.javaxiu.com/42657.html

    最近面试BAT,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。
    文章源自JAVA秀-https://www.javaxiu.com/42657.html

    明天见(。・ω・。)ノ♡文章源自JAVA秀-https://www.javaxiu.com/42657.html

    继续阅读
    速蛙云 - 极致体验,强烈推荐!!!购买套餐就免费送各大视频网站会员!快速稳定、独家福利社、流媒体稳定解锁!速度快,全球上网、视频、游戏加速、独立IP均支持!基础套餐性价比很高!这里不多说,我一直正在使用,推荐购买:https://www.javaxiu.com/59919.html
    weinxin
    资源分享QQ群
    本站是JAVA秀团队的技术分享社区, 会经常分享资源和教程; 分享的时代, 请别再沉默!
    沙海
    匿名

    发表评论

    匿名网友 填写信息

    :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

    确定