大约一年多前,公司同事开始使用Redis,不清楚是配置,还是版本的问题,当时的Redis经常在使用一段时间后,连接爆满且不释放。印象中,Redis 2.4.8以下的版本由于设计上的主从库同步问题,就会导致整个问题,不知是否确为这个Bug所致。但从那以后,我就很少敢去尝试使用Redis。曾想转投MongoDB,但公司同事给我的回复是,由于MongoDB宕机,数据丢失,公司损失惨重。于是,我一直停留在Memcached使用范畴,且用的还比较一般。
由于前段时间使用Kestrel,同时要操作Memcached及时更新缓存,又要操作database,持久化数据。 貌似Redis既可以当Cache又可以当Queue!于是,今天开始研究Redis!
相关链接:
征服 Redis + Jedis + Spring (一)—— 配置&常规操作(GET SET DEL)
征服 Redis + Jedis + Spring (二)—— 哈希表操作(HMGET HMSET)
征服 Redis + Jedis + Spring (三)—— 列表操作
一、Redis简要介绍
Redis —— REmote DIctionary Server,可以直接理解为远程字典服务,也就是基于Key-Value模式Memcached+Database Persistence。
如果真要把Redis与Memcached进行对比,参考下图:
使用Memcached,让我感触颇深的是Object Size的问题,由于SQL未作优化直接映射对象,导致缓存对象大于1MB,Memcached就抛了异常。而Redis默认缓存对象512MB,最大支持1GB。至少在缓存对象时,可以有更大的伸缩空间了! 此外,是数据类型。Memcached比较简单,而Redis可以支持更多复杂的数据类型,如HASH、SET、SortedSet等等。
PS:Memcached是在Server端实现的Sharding,Redis没有对应的实现,据说3.0系列开始支持,不过这话貌似说了2年之久。
Redis装起来,实在是过于简单,让我几乎“无从下手”。因为连“configure”文件都不需要,你只需要做个“make”就好。
在这里下载Redis最新版,这里用Redis 2.4.16
下载&解压:
wget http://redis.googlecode.com/files/redis-2.4.16.tar.gz tar zxvf redis-2.4.16.tar.gz
Redis可以解压至任何目录,一个make安装即可获得执行、配置文件。
安装(这里将redis解压到/opt/目录下):
cd /opt/redis-2.4.16 make
make之后,我们会得到以下可执行文件:
- redis-server:Redis服务器的daemon启动程序
- redis-cli:Redis命令行操作工具。或者通过telnet进行纯文本协议操作
- redis-benchmark:Redis性能测试工具,测试Redis在你的系统及你的配置下的读写性能
上述文件位于src目录下。
我习惯性的执行了make install,貌似我需要的可执行文件,安装到了/usr/local/bin:
cd src && make install
make[1]: Entering directory `/opt/software/redis-2.4.16/src'
MAKE hiredis
make[2]: Entering directory `/opt/software/redis-2.4.16/deps/hiredis'
make[2]: Nothing to be done for `static'.
make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/hiredis'
MAKE linenoise
make[2]: Entering directory `/opt/software/redis-2.4.16/deps/linenoise'
make[2]: “linenoise_example”是最新的。
make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/linenoise'
MAKE hiredis
make[2]: Entering directory `/opt/software/redis-2.4.16/deps/hiredis'
make[2]: Nothing to be done for `static'.
make[2]: Leaving directory `/opt/software/redis-2.4.16/deps/hiredis'
LINK redis-benchmark
LINK redis-cli
Hint: To run 'make test' is a good idea ;)
mkdir -p /usr/local/bin
cp -pf redis-server /usr/local/bin
cp -pf redis-benchmark /usr/local/bin
cp -pf redis-cli /usr/local/bin
cp -pf redis-check-dump /usr/local/bin
cp -pf redis-check-aof /usr/local/bin
make[1]: Leaving directory `/opt/software/redis-2.4.16/src'
这样,就不用我拷贝文件了。 意外收获!
此外,还会得到一个默认的配置文件——redis.conf。
最好,把它拷贝到固定的目录下,例如:/etc/redis/目录下!
mkdir /etc/redis cp redis.conf /etc/redis
然后,我们就可以在任何路径下,直接启动Redis了!
三、运行
运行Redis:
redis-server /etc/redis/redis.conf
[1958] 13 Aug 16:18:24 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
[1958] 13 Aug 16:18:24 * The server is now ready to accept connections on port 6379
[1958] 13 Aug 16:18:24 - 0 clients connected (0 slaves), 717544 bytes in use
四、测试
通过客户端命令redis-cli访问Redis
redis> set name zlex
OK
redis> get name
"zlex"
进行数据测试:
redis-benchmark -l
这个测试会一直进行下去,直到你Ctrl+C:
10000 requests completed in 0.12 seconds
50 parallel clients
3 bytes payload
keep alive: 1
99.31% <= 1 milliseconds
99.53% <= 2 milliseconds
99.64% <= 3 milliseconds
99.70% <= 4 milliseconds
99.74% <= 5 milliseconds
99.78% <= 6 milliseconds
99.82% <= 7 milliseconds
99.84% <= 8 milliseconds
99.86% <= 9 milliseconds
99.89% <= 10 milliseconds
99.91% <= 11 milliseconds
99.93% <= 12 milliseconds
99.96% <= 13 milliseconds
99.98% <= 14 milliseconds
100.00% <= 15 milliseconds
81300.81 requests per second
====== PING ======
10000 requests completed in 0.12 seconds
50 parallel clients
3 bytes payload
keep alive: 1
99.96% <= 1 milliseconds
100.00% <= 1 milliseconds
84033.61 requests per second
^CET (10 keys): 26200.00
五、关闭
也可通过客户端命令redis-cli完成Redis关闭操作:
redis-cli shutdown
[2639] 13 Aug 16:35:35 * Saving the final RDB snapshot before exiting.
[2639] 13 Aug 16:36:49 * DB saved on disk
[2639] 13 Aug 16:36:49 # Redis is now ready to exit, bye bye...
六、调优
1./etc/sysctl.conf
前面启动Redis时,看到如下警告:
需要修改/etc/sysctl.conf文件:
vim /etc/sysctl.conf
末尾追加vm.overcommit_memory = 1
然后执行sysctl vm.overcommit_memory=1,使之生效:
# sysctl vm.overcommit_memory=1 vm.overcommit_memory = 1
2./proc/sys/vm/overcommit_memory
为了调整内存分配策略,需要配置/proc/sys/vm/overcommit_memory
- 0, 表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。
- 1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何。
- 2, 表示内核允许分配超过所有物理内存和交换空间总和的内存
默认为0,如果内存情况比较紧张的话,设为1:
echo 1 > /proc/sys/vm/overcommit_memory
3.redis.conf
前面启动Redis后,总是在命令行里不断跳着各种日志,很麻烦。即便通过“&”,领其后台运行,也无济于事。这就需要修改redis.conf,以Daemo模式运行!
redis.conf参数:
- daemonize:是否以后台daemon方式运行
- pidfile:pid文件位置
- port:监听的端口号
- timeout:请求超时时间
- loglevel:log信息级别
- logfile:log文件位置
- databases:开启数据库的数量
- save * *:保存快照的频率,第一个*表示多长时间(秒级),第三个*表示执行多少次写操作。在一定时间内执行一定数量的写操作时,自动保存快照。可设置多个条件。
- rdbcompression:是否使用压缩
- dbfilename:数据快照文件名(只是文件名,不包括目录)
- dir:数据快照的保存目录(这个是目录)
- appendonly:是否开启appendonlylog,开启的话每次写操作会记一条log,这会提高数据抗风险能力,但影响效率。
- appendfsync:appendonlylog如何同步到磁盘(三个选项,分别是每次写都强制调用fsync、每秒启用一次fsync、不调用fsync等待系统自己同步)
- slaveof <masterip> <masterport> :主从配置,在redis-slave上配置master的ip port,即可。
例如,我们可以修改为如下方式:
save 60 1000 #当时间间隔超过60秒,或存储超过1000条记录时,进行持久化。
maxmemory 256mb #分配256MB内存
PS:切记,一定要设定maxmemmory,且配置大小要小于物理内存,留有足够的内存供系统使用。
公司一同学的Redis,某期间数据暴涨,导致内存吃紧,SWAP加剧,直接宕机。就是因为没有设置maxmemmory。
七、集群配置
把鸡蛋都放在一个篮子里是件危险的事情。首先,要做好主备。其次,如果可以做一致性哈希,可以起到负载均衡的作用。
配置Master-Slave,只需要在Slave上配置Master节点IP Port:
PS:为了两个Redis Server可以互访,需要注释掉bind 127.0.0.1
依次启动Master,Slave:
[7651] 17 Aug 19:08:07 * DB loaded from disk: 0 seconds
[7651] 17 Aug 19:08:07 * The server is now ready to accept connections on port 6379
[7651] 17 Aug 19:08:08 * Slave ask for synchronization
[7651] 17 Aug 19:08:08 * Starting BGSAVE for SYNC
[7651] 17 Aug 19:08:08 * Background saving started by pid 7652
[7652] 17 Aug 19:08:08 * DB saved on disk
[7651] 17 Aug 19:08:08 * Background saving terminated with success
[7651] 17 Aug 19:08:08 * Synchronization with slave succeeded
[7572] 17 Aug 19:07:39 * DB loaded from disk: 0 seconds
[7572] 17 Aug 19:07:39 * The server is now ready to accept connections on port 6379
[7572] 17 Aug 19:07:39 * Connecting to MASTER...
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync started: SYNC sent
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: receiving 10 bytes from master
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: Loading DB in memory
[7572] 17 Aug 19:08:08 * MASTER <-> SLAVE sync: Finished with success
看到上述日志,就说明Master-Slave已经连通。
简单测试,Master写,Slave读:
Trying 192.168.133.139...
Connected to 192.168.133.139.
Escape character is '^]'.
set name snowolf
+OK
Trying 192.168.133.140...
Connected to 192.168.133.140.
Escape character is '^]'.
get name
$7
snowolf
搞定!
八、主从备份
在从服务器上执行下列命令:
#备份 redis-cli save #关闭redis服务器 redis-cli shutdown
然后,拷贝数据目录下的rdb文件。
九、系统服务
习惯了通过service启动一切服务,当然,这跟我生产环境部署有关,通常只分配给用于部署的账户操作service命令的权限。主要是为了确保系统安全。
参考之前写的Memcached的系统服务文件,改造一个Redis版本!
新建文件,并赋予权限:
touch /etc/init.d/redis-server chmod +x /etc/init.d/redis-server
编辑/etc/init.d/redis-server,键入如下内容:
#!/bin/bash # # redis Startup script for redis processes # # author: snowolf # # processname: redis redis_path="/usr/local/bin/redis-server" redis_conf="/etc/redis/redis.conf" redis_pid="/var/run/redis.pid" # Source function library. . /etc/rc.d/init.d/functions [ -x $redis_path ] || exit 0 RETVAL=0 prog="redis" # Start daemons. start() { if [ -e $redis_pid -a ! -z $redis_pid ];then echo $prog" already running...." exit 1 fi echo -n $"Starting $prog " # Single instance for all caches $redis_path $redis_conf RETVAL=$? [ $RETVAL -eq 0 ] && { touch /var/lock/subsys/$prog success $"$prog" } echo return $RETVAL } # Stop daemons. stop() { echo -n $"Stopping $prog " killproc -d 10 $redis_path echo [ $RETVAL = 0 ] && rm -f $redis_pid /var/lock/subsys/$prog RETVAL=$? return $RETVAL } # See how we were called. case "$1" in start) start ;; stop) stop ;; status) status $prog RETVAL=$? ;; restart) stop start ;; condrestart) if test "x`pidof redis`" != x; then stop start fi ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart}" exit 1 esac exit $RETVAL
Stopping redis [失败]
Starting redis [确定]
# service redis-server status
redis (pid 14965) 正在运行...
非常方便!
暂且整理这么多,未完待续。
相关链接:
征服 Redis + Jedis + Spring (一)—— 配置&常规操作(GET SET DEL)
相关推荐
NULL 博文链接:https://snowolf.iteye.com/blog/1633196
NULL 博文链接:https://snowolf.iteye.com/blog/1824868
NULL 博文链接:https://snowolf.iteye.com/blog/1667104
Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows ...
redisredis redis redis redis
Redis实战 Redis实战 Redis实战 Redis实战 Redis实战 Redis实战 Redis实战
Redis 思维导图 Redis Redis Redis
Redis是一种开源的内存数据结构存储系统,它支持多种数据结构,如字符串、哈希、列表、集合、有序集合等。Redis可以用作数据库、缓存和消息中间件。Redis在性能、可扩展性和灵活性方面表现出色,因此被广泛应用于Web...
redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-5.0.5.redis-...
redis6.2.6 redis.conf配置文件
Redis7.0.4.zip,解压缩到D盘根目录后,安装后启动为Windows服务 注意是windows 64位系统才可使用,不支持windows 32位系统使用 已经在Win10,Win11,Windows server 2012系统测试运行可用 使用步骤注意事项: ...
redis安装 1: 下载redis-5.0.4.tar.gz 2: 解压源码并进入目录 tar zxvf redis-5.0.4.tar.gz cd redis-5.0.4 3: 不用configure 4: 直接make (如果是32位机器 make 32bit) 查看linux机器是32位还是64位的方法:...
基于前后端分离的应用,无论是否使用Redis,都需要考虑如何进行数据的存储和缓存。下面我将分别介绍基于Redis和无Redis的两种版本的特点。 基于Redis的版本 特点 缓存处理:Redis作为内存数据库可以用来缓存频繁访问...
redis.conf Redis配置文件 下载 redis.conf 配置详解 Redis配置文件redis.conf 详解1.基本配置内存单位的表示# 1k => 1000 bytes# ...Redis 的详细介绍Redis 的下载地址
Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装Redis3集群安装...
redis redisDesktop ---------安装redis及使用redisDesktop查看数据
使用时打开redis 文件夹 双击 start.bat文件 启动redis ,不要关闭窗口,关闭窗口redis同时关闭
redis缓存 redis缓存
labview调用redis的工具包,vi很齐全,各种命令均有
windows环境 redis服务免安装 附带redis客户端 redis-desktop-manager-0.8.8.384