Redis3.0 最大的特点就是有了cluster的能力,使用redis-trib.rb工具可以轻松构建Redis Cluster。Redis Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。节点之间使用gossip协议传播信息以及发现新节点,这种结构和Cassandra很相似,Cassandra节点可以转发请求。Redis集群中节点不作为client请求的代理,client根据node返回的错误信息重定向请求。
一、集群特性
1.数据可以在cluster的多个node之间进行共享;
2.一次请求处理多批key的命令将不再被支持,因为这些命令处理的key可能在不同的node之间,使用了它们反而会降低cluster的性能;
3.提供高HA,即某个node failed后cluster依旧提供高可用性。
cluster提供如下能力保证:
1.在cluster内自动把数据划分到不同的set上;
2.当集群中一小群机器出现网络故障时或者其他种类的failure时,cluster要保证系统继续可用;
redis的每个node启动后占用两个port 6379 & 16379。redis通过port 6379继续对client提供服务,client通过redis独有的文本协议与node进行通信,所以这个port被成为client port or command port。redis node通过port 16379与cluster内部的其他node进行二进制形式的通信,所以被称为data port or bus port。通过port 16379,node之间进行 failure detection(探活)、configure update(配置更新)、failure authorization(失败确认)。如果node使用别的端口作为command port,那么data port 一定是command port + 10000。
两个不同的cluster之间也可以通过data port进行data migration。
二、分片
redis cluster内部没用提供一致性hash算法来保证集群的可伸缩能力,而是通过简单的crc16 hash算法来进行sharding,所以它最多提供16384个slot。如果cluster有三个node,分别为 A and B and C,则A负责0 - 5500 slots,B负责5501 - 11000 slots,C负责11001 - 16383 slots。进行扩容的时候,就得在不同的node之间进行slots的迁移,不需要关机,也不会出现服务不可用现象。
cluster内部每个node(也成为一个instance)由一个master和多个slave构成,当master fail的时候,可以通过选举机制选出一个slave代替master。
Redis Cluster不提供强一致性。例如cluster接受了一个写请求,给client返回ok,这个写请求的内容也可能丢失。因为其写流程如下:
1 master B接受了一个写请求;
2 B写成功,返回ok给client;
3 B把数据广播给slaves(B1、B2、B3)
如果第二步执行完毕后,B crash了,则会发生数据不一致现象。这与传统的DBMS类似,它们接收了写请求后,每隔1S才会把数据写入disk,这么做也是在性能和一致性之间做一个平衡。
如果用户对数据的一致性要求比较高,Redis可能也会兼顾这种需求,将来会提供相应的选项,让redis中的slave没用成功的接受数据之前不会给client返回ok给client。即先执行step 3,然后再执行step 2。
一致性还有一种场景。假设有client Z,与cluster内各个node A and B and C,以及各个node的replica A1 and B1 and C1,Z与B之间连接正常,但是B与B1以及cluster内其他nodes连接失败。如果Z发起write request,那么B会给他返回ok,但是B1无法获取到相应的数据,这就要求写的时候也要把node与cluster内其他的成员的探活也要考虑在内。基本要求就是,写时间周期要大于探活时间周期(node timeout)。当node B timeout之后,master B会自动进入failing状态,拒绝外部client的连接请求,而cluster则会选出slave B1来代替B。
下面关于 Redis 的文章您也可能喜欢,不妨参考下:
Ubuntu 14.04下Redis安装及简单测试 http://www.linuxidc.com/Linux/2014-05/101544.htm
Redis主从复制基本配置 http://www.linuxidc.com/Linux/2015-03/115610.htm
Redis集群明细文档 http://www.linuxidc.com/Linux/2013-09/90118.htm
Ubuntu 12.10下安装Redis(图文详解)+ Jedis连接Redis http://www.linuxidc.com/Linux/2013-06/85816.htm
Redis系列-安装部署维护篇 http://www.linuxidc.com/Linux/2012-12/75627.htm
CentOS 6.3安装Redis http://www.linuxidc.com/Linux/2012-12/75314.htm
Redis安装部署学习笔记 http://www.linuxidc.com/Linux/2014-07/104306.htm
Redis配置文件redis.conf 详解 http://www.linuxidc.com/Linux/2013-11/92524.htm
Redis 的详细介绍 : 请点这里
Redis 的下载地址 : 请点这里
三、安装配置
1.环境
使用2台centos服务器,每台机器上部署3个实例,集群为三个主节点与三个从节点:
192.168.36.54:6380
192.168.36.54:6381
192.168.36.54:6382
192.168.36.189:6380
192.168.36.189:6381
192.168.36.189:6382
2.安装依赖
由于通过redis-trib.rb工具构建Redis Cluster,需要rudy环境,执行如下命令安装:
yum -y install zlib ruby rubygems
安装ruby 的redis库:
gem install redis
3.安装redis 3.0
wget http://download.redis.io/releases/redis-3.0.0.tar.gz
tar -zxvf redis-3.0.0.tar.gz
mkdir redis
cd redis-3.0.0
make PREFIX=/home/slim/redis
make PREFIX=/home/slim/redis install
将集群工具复制到/home/slim/redis/bin下
cp /home/slim/redis-3.0.0/src/redis-trib.rb ./bin/
创建数据配置目录
mkdir -p /home/slim/redis/{conf,data,logs}
4.配置
在2台机器上配置如下:
cd /home/slim/redis
cp /home/slim/redis-3.0.0/redis.conf ./conf/redis-6380.conf
cp /home/slim/redis-3.0.0/redis.conf ./conf/redis-6381.conf
cp /home/slim/redis-3.0.0/redis.conf ./conf/redis-6382.conf
修改配置:
#基本配置
daemonize yes
pidfile /home/slim/redis/data/redis-6380.pid
port 6380
bind 192.168.36.189
unixsocket /home/slim/redis/data/redis-6380.sock
unixsocketperm 700
timeout 300
loglevel verbose
logfile /home/slim/redis/logs/redis-6380.log
databases 16
dbfilename dump-6380.rdb
dir /home/slim/redis/data/
#aof持久化
appendonly yes
appendfilename appendonly-6380.aof
appendfsync everysec
no-appendfsync-on-rewrite yes
auto-aof-rewrite-percentage 80-100
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000
#集群配置
cluster-enabled yes
cluster-config-file /home/slim/redis/data/nodes-6380.conf
cluster-node-timeout 5000
每个实例配置类似,修改一下都应端口、IP地址、文件名称即可。
Redis集群由多个运行在集群模式(cluster mode)下的Redis实例组成,实例的集群模式需要通过配置来开启,开启集群模式的实例将可以使用集群特有的功能和命令。要让集群正常运作至少需要三个主节点, 不过在刚开始试用集群功能时, 强烈建议使用六个节点: 其中三个为主节点, 而其余三个则是各个主节点的从节点。
cluster-enabled:开实例的集群模式
cluster-conf-file:设定了保存节点配置文件的路径,默认值为nodes.conf。节点配置文件无须人为修改,它由Redis集群在启动时创建,并在有需要时自动进行更新。
cluster-node-timeout:集群节点互连超时的阀值
5.启动服务
1)启动2台机器实例
./bin/redis-server ./conf/redis-6380.conf ;tail -f logs/redis-6380.log
./bin/redis-server ./conf/redis-6381.conf ;tail -f logs/redis-6381.log
./bin/redis-server ./conf/redis-6382.conf ;tail -f logs/redis-6382.log
启动日志中打印:
“8591:M 11 Apr 22:20:46.134 * No cluster configuration found, I'm 83fc65283bbbb71b4c089337df05594d67f4cab6”
每个节点都使用 ID 而不是 IP 或者端口号来记录其他节点, 因为 IP 地址和端口号都可能会改变, 而这个独一无二的标识符(identifier)则会在节点的整个生命周期中一直保持不变。
查看启动进程:
ps -ef | grep redis
slim 8525 1 0 22:16 ? 00:00:01 ./bin/redis-server 192.168.36.54:6380 [cluster] slim 8544 1 0 22:17 ? 00:00:00 ./bin/redis-server 192.168.36.54:6381 [cluster] slim 8591 1 0 22:20 ? 00:00:00 ./bin/redis-server 192.168.36.54:6382 [cluster]2)集群配置
在每台机器上启动的redis服务都是相互独立,下面我们就使用redis-trib.rb工具构建Redis Cluster。
./bin/redis-trib.rb create --replicas 1 192.168.36.54:6380 192.168.36.54:6381 192.168.36.54:6382 192.168.36.189:6380 192.168.36.189:6381 192.168.36.189:6382
命令的意义如下:
给定 redis-trib.rb 程序的命令是 create , 这表示我们希望创建一个新的集群。
选项 --replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
之后跟着的其他参数则是实例的地址列表, 我们希望程序使用这些地址所指示的