如何使用redis启动redis
redis启动:redis-cli
不联网能启动redis吗
可以的,不联网只是不能对外提供服务,本机功能是不影响的。下面分享相关内容的知识扩展:
Redis集群模式1-主从复制+哨兵机制
单个Redis服务如果宕机的话,服务就不可用了,为了解决这种问题,redis也提供有集群服务。传统的Redis集群采用的主从复制模式,一般为一主多从,主节点有读写权限,但是从节点只有读的权限。主节点会定期将数据同步到从节点中,保证数据一致性的问题。这种集群方式在运行时存在一些问题:
Redis的哨兵机制就是解决主从复制存在缺陷(选举问题),解决问题保证我们的Redis高可用,实现自动化故障发现与故障转移。
要使用哨兵机制,除了启动Redis服务以外,还要启动哨兵服务来进行监控,会介绍详细步骤。哨兵服务的工作原理如下:
演示集群采用1主2从,采用伪集群,在一台虚拟机中启动,端口暂定6381、6382、6383,集群结构可以选择下面2种,因为数量较少,此次采用普通样式。
主节点配置文件和单机的时候一样,主要修改以下几点
基本和主节点差不多,但要加上 slaveof 配置和主节点账号密码。
哨兵配置文件是 sentinel.conf ,因为有3个redis服务,所以启动3个哨兵服务,对应的配置文件分别为: sentinel_26381.conf 、 sentinel_26382.conf 、 sentinel_26383.conf
Redis服务和哨兵服务都启动了,可以测试哨兵的自动选举了,将6381沙雕,等几秒,再查看6382,6382的主从信息
注意:这个时候如果去看redis的配置文件,会发现配置文件中已经自动改好了主节点为6383了;而且哨兵的配置文件中,也改了主节点为6383了。这些都是哨兵帮我们做的
因集群中已有了新主节点,所以6381再启动只能作为从节点。此时6381启动,需要在配置文件中加入主节点信息:
两个Redis实例互相SLAVEOF会怎样?
今天尝试配置Redis Sentinel 来监控Redis服务器,中间由于某些设想我突然想到如果两个Redis实例互相slaveof会怎样。以下是我的试验:\x0d\x0a两个Redis实例,redis1配置作为master,redis2配置作为slave:slaveof redis1。\x0d\x0a启动redis1、redis2。\x0d\x0a启动成功并且redis2也成功slaveof redis1后,redis-cli连接redis1,执行命令将redis1设置为redis2的从库:\x0d\x0aslaveof [redis2 IP] [redis2 port] \x0d\x0a执行后的结果是......两个redis都在重复抛出SYNC命令执行失败的log,也就是显然两个redis不能互相作为从库。\x0d\x0aredis1执行slaveof后的log:\x0d\x0a\x0d\x0a[14793] 06 Sep 17:36:20.426 * SLAVE OF 10.18.129.49:9778 enabled (user request)\x0d\x0a[14793] 06 Sep 17:36:20.636 - Accepted 10.18.129.49:44277\x0d\x0a[14793] 06 Sep 17:36:20.637 - Client closed connection\x0d\x0a[14793] 06 Sep 17:36:20.804 * Connecting to MASTER...\x0d\x0a[14793] 06 Sep 17:36:20.804 * MASTER <-> SLAVE sync started\x0d\x0a[14793] 06 Sep 17:36:20.804 * Non blocking connect for SYNC fired the event.\x0d\x0a[14793] 06 Sep 17:36:20.804 * Master replied to PING, replication can continue...\x0d\x0a[14793] 06 Sep 17:36:20.804 # MASTER aborted replication with an error: ERR Can't SYNC while not connected with my master\x0d\x0a[14793] 06 Sep 17:36:21.636 - Accepted 10.18.129.49:44279\x0d\x0a[14793] 06 Sep 17:36:21.637 - Client closed connection\x0d\x0a[14793] 06 Sep 17:36:21.804 * Connecting to MASTER...\x0d\x0a[14793] 06 Sep 17:36:21.804 * MASTER <-> SLAVE sync started\x0d\x0a[14793] 06 Sep 17:36:21.804 * Non blocking connect for SYNC fired the event.\x0d\x0a[14793] 06 Sep 17:36:21.804 * Master replied to PING, replication can continue...\x0d\x0a[14793] 06 Sep 17:36:21.804 # MASTER aborted replication with an error: ERR Can't SYNC while not connected with my master\x0d\x0a[14793] 06 Sep 17:36:22.636 - Accepted 10.18.129.49:44281\x0d\x0a[14793] 06 Sep 17:36:22.637 - Client closed connection\x0d\x0a[14793] 06 Sep 17:36:22.804 * Connecting to MASTER...\x0d\x0a[14793] 06 Sep 17:36:22.804 * MASTER <-> SLAVE sync started\x0d\x0a[14793] 06 Sep 17:36:22.804 * Non blocking connect for SYNC fired the event.\x0d\x0a[14793] 06 Sep 17:36:22.804 * Master replied to PING, replication can continue.. \x0d\x0a\x0d\x0aredis2的log:\x0d\x0a\x0d\x0a[14796] 06 Sep 17:36:20.426 - Client closed connection\x0d\x0a[14796] 06 Sep 17:36:20.636 * Connecting to MASTER...\x0d\x0a[14796] 06 Sep 17:36:20.636 * MASTER <-> SLAVE sync started\x0d\x0a[14796] 06 Sep 17:36:20.636 * Non blocking connect for SYNC fired the event.\x0d\x0a[14796] 06 Sep 17:36:20.636 * Master replied to PING, replication can continue...\x0d\x0a[14796] 06 Sep 17:36:20.636 # MASTER aborted replication with an error: ERR Can't SYNC while not connected with my master\x0d\x0a[14796] 06 Sep 17:36:20.804 - Accepted 10.18.129.49:51034\x0d\x0a[14796] 06 Sep 17:36:20.805 - Client closed connection\x0d\x0a[14796] 06 Sep 17:36:21.636 * Connecting to MASTER...\x0d\x0a[14796] 06 Sep 17:36:21.636 * MASTER <-> SLAVE sync started\x0d\x0a[14796] 06 Sep 17:36:21.636 * Non blocking connect for SYNC fired the event.\x0d\x0a[14796] 06 Sep 17:36:21.636 * Master replied to PING, replication can continue...\x0d\x0a[14796] 06 Sep 17:36:21.637 # MASTER aborted replication with an error: ERR Can't SYNC while not connected with my master\x0d\x0a[14796] 06 Sep 17:36:21.804 - Accepted 10.18.129.49:51036\x0d\x0a[14796] 06 Sep 17:36:21.805 - Client closed connection\x0d\x0a[14796] 06 Sep 17:36:22.636 - DB 0: 20 keys (0 volatile) in 32 slots HT.\x0d\x0a[14796] 06 Sep 17:36:22.636 - 0 clients connected (0 slaves), 801176 bytes in use\x0d\x0a[14796] 06 Sep 17:36:22.636 * Connecting to MASTER...\x0d\x0a[14796] 06 Sep 17:36:22.636 * MASTER <-> SLAVE sync started\x0d\x0a[14796] 06 Sep 17:36:22.636 * Non blocking connect for SYNC fired the event.\x0d\x0a[14796] 06 Sep 17:36:22.636 * Master replied to PING, replication can continue..\x0d\x0a\x0d\x0a两个redis就这样都进入SYNC失败的死循环状态。\x0d\x0a我想到的疑问是:为什么原来的从库redis2会重新执行SYNC命令?\x0d\x0a从上面的redis2的log第一行可以看到原先的主从连接断开了。\x0d\x0a看了执行主从设置的源码replication.c,下面是redis1执行slaveof命令的代码,它在中间执行disconnectSlaves()导致原来的主从连接断开:\x0d\x0a\x0d\x0avoid slaveofCommand(redisClient *c) {\x0d\x0a if (!strcasecmp(c->argv[1]->ptr,"no") &&!strcasecmp(c->argv[2]->ptr,"one")) {\x0d\x0a // 省略了\x0d\x0a } else {\x0d\x0a // 省略了\x0d\x0a /* There was no previous master or the user specified a different one,\x0d\x0a * we can continue. */\x0d\x0a sdsfree(server.masterhost);\x0d\x0a server.masterhost = sdsdup(c->argv[1]->ptr);\x0d\x0a server.masterport = port;\x0d\x0a if (server.master) freeClient(server.master);\x0d\x0a disconnectSlaves(); /* Force our slaves to resync with us as well. */\x0d\x0a cancelReplicationHandshake();\x0d\x0a server.repl_state = REDIS_REPL_CONNECT;\x0d\x0a redisLog(REDIS_NOTICE,"SLAVE OF %s:%d enabled (user request)",\x0d\x0a server.masterhost, server.masterport);\x0d\x0a }\x0d\x0a addReply(c,shared.ok);\x0d\x0a}\x0d\x0a\x0d\x0adisconnectSlaves()旁边的注解是:Force our slaves to resync with us as well. 意思类似于先把你们(redis2)断开,等我(redis1)同步我的主库搞定后你们再来向我同步。这样导致redis2和redis1断开了,而redis2一开始作为从库如果它和主库断开它会不断尝试重新连接并执行SYNC命令直到成功。\x0d\x0a了解了为什么redis2也执行SYNC命令后,第二个疑问是为什么两个redis的SYNC操作都会一直失败,实际上原因和第一个差不多。两个redis的log异常都是:ERR Can't SYNC while not connected with my master。这个log在代码中是:\x0d\x0a\x0d\x0avoid syncCommand(redisClient *c) {\x0d\x0a /* ignore SYNC if already slave or in monitor mode */\x0d\x0a if (c->flags & REDIS_SLAVE) return;\x0d\x0a\x0d\x0a /* Refuse SYNC requests if we are a slave but the link with our master\x0d\x0a * is not ok... */\x0d\x0a if (server.masterhost && server.repl_state != REDIS_REPL_CONNECTED) {\x0d\x0a addReplyError(c,"Can't SYNC while not connected with my master");\x0d\x0a return;\x0d\x0a }\x0d\x0a\x0d\x0a /* SYNC can't be issued when the server has pending data to send to\x0d\x0a * the client about already issued commands. We need a fresh reply\x0d\x0a * buffer registering the differences between the BGSAVE and the current\x0d\x0a * dataset, so that we can copy to other slaves if needed. */\x0d\x0a if (listLength(c->reply) != 0) {\x0d\x0a addReplyError(c,"SYNC is invalid with pending input");\x0d\x0a return;\x0d\x0a }\x0d\x0a //省略\x0d\x0a}\x0d\x0a\x0d\x0asyncCommand函数是Redis作为主库收到从库发来的SYNC命令时的处理,看上面注释部分“Refuse SYNC requests if we are a slave but the link with our master is not ok...”。当redis1作为主库收到从库的SYNC命令,会执行syncCommand函数,其中if (server.masterhost && server.repl_state != REDIS_REPL_CONNECTED)... ,redis1刚好设置为别的主库(redis2)的从库但还没完成同步工作(redis1需要向redis2发送SYNC请求并且返回成功才能完成同步,而redis2处理redis1的SYNC请求时又需要redis1处理好redis2的SYNC请求才行,这导致死锁了),所以这个判断返回true,redis1直接reply error:Can't SYNC while not connected with my master)。redis2的情况也一样,所以双方都处在Can't SYNC while not connected with my master的状态。Redis RDB持久化和AOF持久化详细讲解
Redis支持RDB和AOF两种持久化机制,持久化功能有效地避免因进程退出造成的数据丢失问题,当下次重启时利用之前持久化的文件即可实现数据恢复。Redis支持两种方式的持久化,一种是RDB方式,一种是AOF方式。可以单独使用其中一种或将二者结合使用。RDB持久化是把当前进程数据生成快照保存到硬盘的过程,触发RDB持久化过程分为手动触发和自动触发。
手动触发分别对应save和bgsave命令:
自动触发
除了执行命令手动触发之外,Redis内部还存在自动触发RDB的持久化机制。如以下场景:
1)使用save相关配置,如“save m n”。表示m秒内数据集存在n次修改时,自动触发bgsave。
2)如果从节点执行全量复制操作,主节点自动执行bgsave生成RDB文件并发送给从节点
3)执行debug reload命令重新加载Redis时,也会自动触发save操作。
4)默认情况下执行shutdown命令时,如果没有开启AOF持久化功能则自动执行bgsave。
bgsave是主流的触发RDB持久化方式,它的运作流程如下图:
1)执行bgsave命令,Redis父进程判断当前是否存在正在执行的子进程,如RDB/AOF子进程,如果存在bgsave命令直接返回。
2)父进程执行fork操作创建子进程,fork操作过程中父进程会阻塞,通过info stats命令查看latest_fork_usec选项,可以获取最近一个fork操作的耗时,单位为微秒。
3)父进程fork完成后,bgsave命令返回“Background saving started”信息并不再阻塞父进程,可以继续响应其他命令。
4)子进程创建RDB文件,根据父进程内存生成临时快照文件,完成后对原有文件进行原子替换。执行lastsave命令可以获取最后一次生成RDB的时间,对应info统计的rdb_last_save_time选项。
5)进程发送信号给父进程表示完成,父进程更新统计信息。
保存:RDB文件保存在dir配置指定的目录下,文件名通过dbfilename配置指定。可以通过执行config set dir{newDir}和config setdbfilename{newFileName}运行期动态执行,当下次运行时RDB文件会保存到新目录。
压缩:Redis默认采用LZF算法对生成的RDB文件做压缩处理,压缩后的文件远远小于内存大小,默认开启,可以通过参数config set rdbcompression{yes|no}动态修改。
校验:如果Redis加载损坏的RDB文件时拒绝启动,并打印如下日志:
这时可以使用Redis提供的redis-check-dump工具检测RDB文件并获取对应的错误报告。
RDB的优点:
RDB的缺点:
AOF(append only file)持久化:以独立日志的方式记录每次写命令,重启时再重新执行AOF文件中的命令达到恢复数据的目的。AOF的主要作用是解决了数据持久化的实时性,目前已经是Redis持久化的主流方式。
开启AOF功能需要设置配置:appendonly yes,默认不开启。AOF文件名通过appendfilename配置设置,默认文件名是appendonly.aof。保存路径同RDB持久化方式一致,通过dir配置指定。
AOF的工作流程操作:命令写入(append)、文件同步(sync)、文件重写(rewrite)、重启加载(load)。如下图所示:
流程如下:
1)所有的写入命令会追加到aof_buf(缓冲区)中。
2)AOF缓冲区根据对应的策略向硬盘做同步操作。
3)随着AOF文件越来越大,需要定期对AOF文件进行重写,达到压缩的目的。
4)当Redis服务器重启时,可以加载AOF文件进行数据恢复。
AOF命令写入的内容直接是文本协议格式,开启AOF后,所有写入命令都包含追加操作,直接采用文本协议格式,避免了二次处理开销。
Redis提供了多种AOF缓冲区同步文件策略,由参数appendfsync控制。
always:命令写入aof_buf后,调用系统ysnyc操作同步到AOF文件,ysnyc完成后线程返回。
everysec:命令写入aof_buf后,调用系统write操作,write完成后线程返回。ysnyc同步文件操作由专门线程每秒调用一次。
no:命令写入aof_buf后,调用系统write操作,不对AOF文件做ysnyc同步,同步硬盘操作由操作系统负责,通常同步周期最长30秒。
系统调用write和fsync说明:
Redis引入AOF重写机制压缩文件体积。AOF文件重写是把Redis进程内的数据转化为写命令同步到新AOF文件的过程。
AOF重写机制压缩文件体积的原因:
1)进程内已经超时的数据不再写入文件。
2)旧的AOF文件含有无效命令,重写使用进程内数据直接生成,这样新的AOF文件只保留最终数据的写入命令。
3)多条写命令可以合并为一个,为了防止单条命令过大造成客户端缓冲区溢出,对于list、set、hash、zset等类型操作,以64个元素为界拆分为多条。
AOF重写过程可以手动触发和自动触发:
auto-aof-rewrite-min-size:表示运行AOF重写时文件最小体积,默认为64MB。auto-aof-rewrite-percentage:代表当前AOF文件空间(aof_current_size)和上一次重写后AOF文件空间(aof_base_size)的比值。
自动触发时机=aof_current_size>auto-aof-rewrite-min-size&&(aof_current_size-aof_base_size)/aof_base_size>=auto-aof-rewrite-percentage。其中aof_current_size和aof_base_size可以在info Persistence统计信息中查看。
AOF重写流程:如下图
流程说明:
1)执行AOF重写请求。如果当前进程正在执行AOF重写,请求不执行并返回如下响应:
如果当前进程正在执行bgsave操作,重写命令延迟到bgsave完成之后再执行,返回如下响应:
2)父进程执行fork创建子进程,开销等同于bgsave过程。
3.1)主进程fork操作完成后,继续响应其他命令。所有修改命令依然写入AOF缓冲区并根据appendfsync策略同步到硬盘,保证原有AOF机制正确性。
3.2)由于fork操作运用写时复制技术,子进程只能共享fork操作时的内存数据。由于父进程依然响应命令,Redis使用“AOF重写缓冲区”保存这部分新数据,防止新AOF文件生成期间丢失这部分数据。
4)子进程根据内存快照,按照命令合并规则写入到新的AOF文件。每次批量写入硬盘数据量由配置aof-rewrite-incremental-fsync控制,默认为32MB,防止单次刷盘数据过多造成硬盘阻塞。
5.1)新AOF文件写入完成后,子进程发送信号给父进程,父进程更新统计信息,具体见info persistence下的aof_*相关统计。
5.2)父进程把AOF重写缓冲区的数据写入到新的AOF文件。
5.3)使用新AOF文件替换老文件,完成AOF重写。
AOF和RDB文件都可以用于服务器重启时的数据恢复。Redis持久化文件加载流程如下图:
流程说明:
1)AOF持久化开启且存在AOF文件时,优先加载AOF文件,打印如下日志:
2)AOF关闭或者AOF文件不存在时,加载RDB文件,打印如下日志:
3)加载AOF/RDB文件成功后,Redis启动成功。
4)AOF/RDB文件存在错误时,Redis启动失败并打印错误信息。
加载损坏的AOF文件时会拒绝启动,并打印如下日志:
对于错误格式的AOF文件,先进行备份,然后采用redis-check-aof--fix命令进行修复,修复后使用diff-u对比数据的差异,找出丢失的数据,有些可以人工修改补全。
AOF文件可能存在结尾不完整的情况,Redis为我们提供了aof-load-truncated配置来兼容这种情况,默认开启。加载AOF时,当遇到此问题时会忽略并继续启动,同时打印如下警告日志:
版权声明:
本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至xxx678@qq.com举报,一经查实,本站将立刻删除。
本文由会办卡原创,转载请注明出处http://www.milanhao.com/llktj/c533bea81888653ed5bda203c7dc5a47.html