詳解redis持久化存儲
- coldplay.xixi轉載
- 2020-11-24 16:59:034086瀏覽
#redis資料庫教學欄位介紹redis的持久化儲存。
推薦：redis資料庫教學
redis概述
REmote DIctionary Server（Redis）是基於key-value鍵值對的持久化資料庫儲存系統。 redis和大名鼎鼎的Memcached快取服務軟體很像，但是redis支援的資料儲存類型比memcached更豐富，包括strings（字串），lists（列表），sets（集合）和sorted sets（有序集合）等。
這些資料型別支援push/pop,add/remove及取交集，並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支援各種不同方式的排序。與memcached快取服務一樣，為了確保效率，資料都是快取在記憶體中提供服務。和memcached不同的是，redis持久化快取服務還會週期性的把更新的資料寫入到磁碟以及把修改的操作記錄追加到文件裡記錄下來，比memcached更有優勢的是，redis還支援master- slave（主從）同步，這點很類似關係型資料庫MySQL主從複製功能。
Redis是一個開源的使用C語言編寫(3萬多行程式碼)，支援網絡，可基於記憶體亦可持久化的日誌型，Key-Value資料庫，並提供多種語言的API。從2010年3月15日起，Redis的開發工作由VMware主持。
Redis軟體的出現，再一定程度上彌補了memcached這類key-value記憶體快取服務的不足，在部分場合可以對關係資料庫起到很好的補充作用。 redis提供了Python，Ruby，Erlang，PHP客戶端，
1.2 redis特點
key-value键值类型存储 支持数据可靠存储及落地 单进程单线程高性能服务器 crash safe & recovery slow 单机qps可以达到10W 适合小数据量高速读写访问
1.3 Redis優點
##與memcached不同，Redis可以持久化存儲數據效能很高：Redis能支援超過10W每秒的讀寫頻率。1.4 redis缺陷與陷阱豐富的資料型態：Redis支援二進位的Strings，Lists，Hashes，Sets及sorted Sets等資料型別運算
原子：Redis的所有運算都是原子性的，同時Redis也支援對幾個運算全併後的原子性執行
豐富的特性：Redis也支援publish/subscribe（發布/訂閱），通知，key過期等等特性。 redis支援異機主從複製。
系統運作有毛邊
不同指令延遲差異極大
記憶體管理開銷大（設定低於實體記憶體3/5）
buffer io造成系統OOM（記憶體溢位）
作為Key-value型儲存系統資料庫，Redis提供了鍵（Key）和值（value）對映關係。但是，除了常規的數值或字串，Redis的鍵值還可以是以下形式之一，下面為最常用的資料類型：
String 字符串 Hash 哈希表 List 列表 Set 集合 Sorted set 有序集合1.6 redis 持久化
通常，Redis將資料儲存於記憶體中，或被配置為使用虛擬記憶體。透過兩種方式可以實現資料持久化：使用快照（snapshot）的方式，將記憶體中的資料不斷寫入磁碟，或使用類似MySQL的binlog日誌（aof但並非用於主從同步）方式，記錄每次更新的日誌。前者效能較高，但是可能會造成一定程度的資料遺失；後者相反。1.7 redis應用程式場景
redis的最佳應用程式場景
- Redis最佳試用場景是全部資料in-memory
- Redis更多場景是作為Memcached的替代品來使用。
- 資料比較重要，對資料一致性有一定要求的業務。
- 當需要除key/value之外的更多資料類型支援時，使用Redis更合適。
- 需要提供主從同步以及負載平衡分散式應用場景（redis主從同步）
一定要進行Master-slave主從同步配置，在出現服務故障時可以切換
在master停用資料持久化，只需要在slave上配置資料持久化
實體記憶體虛擬記憶體不足，這時候dump一直死著，時間久了機器掛掉。這個情況就是災難！
當Redis實體記憶體使用超過記憶體總容量的3/5時就會開始比較危險了，就開始做swap，記憶體碎片大
當達到最大記憶體時，會清空有過期時間的key，即使key未到過期時間。
redis与DB同步写的问题，先写DB，后写redis，因为写内存基本上没有问题。
快速部署一个redis环境
2.1 Redis部署环境搭建
主机名 eth0 用途 Master-redis01 10.0.0.135 主Redis Slave-redis02 10.0.0.136 从Redis
2.2 开始安装redis服务
在redis的官方网站（http://www.redis.io）下载最新的稳定版本redis。
wget -q http://download.redis.io/releases/redis-2.8.9.tar.gz
#在redis01和redis02都执行如下操作
[root@redis01 ~]# tar xf redis-2.8.9.tar -C /usr/src/ [root@redis01 ~]# cd /usr/src/redis-2.8.9/ [root@redis01 redis-2.8.9]# make MALLOC=jemalloc [root@redis01 redis-2.8.9]# make PREFIX=/usr/local/redis install [root@redis01 redis-2.8.9]# LANG=en [root@redis01 redis-2.8.9]# tree /usr/local/redis/bin/ /usr/local/redis/bin/ ├── redis-benchmark ├── redis-check-aof ├── redis-check-dump ├── redis-cli └── redis-server 0 directories, 5 files
命令执行完成之后，会在/usr/local/redis/bin/目录下生成5个可执行文件，分别是：
redis-server,redis-cli,redis-benchmark,redis-check-aof,redis-check-dump
它们的作用如下：
redis-server #Redis服务器的daemon启动程序 redis-cli #Redis命令操作工具。当然，你也可以用telnet根据其纯文本协议来操作 redis-benchmark #Redis性能测试工具，测试Redis在你的系统及你的配置下的读写性能。 redis-check-aof #对更新日志appendonly.aof检查，是否可用，类似检查mysql binlog的工具 redis-check-dump #用于本地数据库rdb文件的检查
2.3 配置并启动redis服务
（1）配置启动命令
操作过程：
[root@redis01 redis-2.8.9]# ln -s /usr/local/redis/bin/* /usr/local/bin/
（2）查看命令帮助：
[root@redis01 redis-2.8.9]# redis-server -h Usage: ./redis-server [/path/to/redis.conf] [options] ./redis-server - (read config from stdin) ./redis-server -v or --version ./redis-server -h or --help ./redis-server --test-memory <megabytes> Examples: ./redis-server (run the server with default conf) ./redis-server /etc/redis/6379.conf ./redis-server --port 7777 ./redis-server --port 7777 --slaveof 127.0.0.1 8888 ./redis-server /etc/myredis.conf --loglevel verbose Sentinel mode: ./redis-server /etc/sentinel.conf --sentinel</megabytes>
（3）启动redis服务
操作过程：
#从源程序目录复制redis.conf到程序安装目录下
[root@redis01 redis-2.8.9]# cd /usr/src/redis-2.8.9/ [root@redis01 redis-2.8.9]# pwd /usr/src/redis-2.8.9 [root@redis01 redis-2.8.9]# mkdir /usr/local/redis/conf [root@redis01 redis-2.8.9]# cp redis.conf /usr/local/redis/conf/
#启动redis服务
[root@redis01 redis-2.8.9]# redis-server /usr/local/redis/conf/redis.conf &
#查看redis进程启动情况
[root@redis01 redis-2.8.9]# ps -ef | grep redis | grep -v grep root 3169 1288 0 10:17 pts/0 00:00:00 redis-server *:6379
特别提示：
redis启动成功后，在最后会出现如下警示信息：
[3169] 02 Oct 10:17:30.689 # Server started, Redis version 2.8.9 [3169] 02 Oct 10:17:30.690 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. [3169] 02 Oct 10:17:30.690 * The server is now ready to accept connections on port 6379
#警示大概意思为：
overcommit_memory被设置为了0.如果内存不够的情况下后台保存可能会失败；要解决这个问题，需要在/etc/sysctl.conf配置文件中将vm.overcommit_memory设置为1;或者通过命令“sysctl vm.overcommit_memory=1”来修改。
因此，我们做一下处理后在启动redis进程
[root@redis01 redis-2.8.9]# pkill redis [root@redis01 redis-2.8.9]# sysctl vm.overcommit_memory=1 vm.overcommit_memory = 1 [root@redis01 redis-2.8.9]# redis-server /usr/local/redis/conf/redis.conf &
经过处理后，再启动redis就没有任何警告了。
vm.overcommit_memory参数说明：
根据内核文档，该参数有三个值，分别是：
0:当用户空间请求更多的内存时，内核尝试估算出剩余可用的内存。
1:当设这个参数值为1时，内核允许超量使用内存直到用完为止，主要用于科学计算
2:当设这个参数值为2时，内核会使用一个绝不过量使用内存的算法，即系统整个内存地址空间不能超过swap+50%的RAM值，50%参数的设定是在overcommit_ratio中设定。
测试关闭redis服务的命令
redis-cli shutdown 关闭redis进程
[root@redis01 redis-2.8.9]# ps -ef | grep redis | grep -v grep root 3200 1288 0 10:38 pts/0 00:00:08 redis-server *:6379 [root@redis01 redis-2.8.9]# redis-cli shutdown [3200] 02 Oct 12:43:46.621 # User requested shutdown... [3200] 02 Oct 12:43:46.621 * Saving the final RDB snapshot before exiting. [3200] 02 Oct 12:43:46.630 * DB saved on disk [3200] 02 Oct 12:43:46.631 # Redis is now ready to exit, bye bye... [1]+ Done redis-server /usr/local/redis/conf/redis.conf [root@redis01 redis-2.8.9]# ps -ef | grep redis | grep -v grep [root@redis01 redis-2.8.9]# redis-server /usr/local/redis/conf/redis.conf
redis自启动脚本
[root@ser02 redis]# vim redserver.sh
#!/bin/bash
stop(){
/data/redis/bin/redis-cli -a redis shutdown
}
start(){
/data/redis/bin/redis-server /data/redis/conf/redis.conf &
}
conn(){
/data/redis/bin/redis-cli -a redis
}
case $1 in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
conn)
conn
;;
*)
echo "Usage:$0 (start|stop|restart)"
esac
[root@ser02 redis]# chmod +x redserver.sh
[root@ser02 redis]# vim /etc/profile
export PATH=/data/redis/:$PATH
[root@ser02 redis]# source /etc/profile
redserver.sh start ##开启redis服务
redserver.sh conn ##登录redis
2.4 通过客户端操作redis数据库
下面我们来简单操作一下数据库。
插入数据：设置一个key-value对
[root@redis01 redis-2.8.9]# redis-cli #通过客户端连接本地redis 127.0.0.1:6379> set id 001 #写入一条数据key（id），value（001） OK 127.0.0.1:6379> get id #取值key（id） "001" #显示key对应的值 127.0.0.1:6379> del id #删除key（id） (integer) 1 #1表示成功 127.0.0.1:6379> exists id #验证key是否存在 (integer) 0 #0表示不存在 127.0.0.1:6379> get id #取key的值 (nil) #报错信息 127.0.0.1:6379> set user001 benet OK 127.0.0.1:6379> set user002 yunjisuan OK 127.0.0.1:6379> set user003 yun123 OK 127.0.0.1:6379> get user001 "benet" 127.0.0.1:6379> get user002 "yunjisuan" 127.0.0.1:6379> keys * #查看redis里所有的key 1) "user003" 2) "user002" 3) "user001"
更多操作方式及命令帮助
（1）redis数据库的表模式
127.0.0.1:6379> keys * #查看所有key 1) "user003" 2) "user002" 3) "user001" 127.0.0.1:6379> select 1 #切换到表1模式 OK 127.0.0.1:6379[1]> keys * #查询所有key (empty list or set) #什么都没有 127.0.0.1:6379[1]> set name wangwu #写入一个key-value对 OK 127.0.0.1:6379[1]> keys * #查看所有key 1) "name" #key（name）已经有了 127.0.0.1:6379[1]> get name #查看key（name）的值 "wangwu" 127.0.0.1:6379[1]> select 0 #切换回表0模式（初始模式） OK 127.0.0.1:6379> keys * #查看所有key 1) "user003" 2) "user002" 3) "user001"
（2）redis-cli客户端的远程连接及非交互式操作数据库
[root@redis01 redis-2.8.9]# redis-cli -h 10.0.0.135 -p 6379 10.0.0.135:6379> quit [root@redis01 redis-2.8.9]# redis-cli -h 10.0.0.135 -p 6379 set aaa 111 OK [root@redis01 redis-2.8.9]# redis-cli -h 10.0.0.135 -p 6379 get aaa "111"
redis安全
（1）为redis客户端设置外部链接密码
警告：
因为redis速度相当快，所以在一台比较好的服务器下，一个外部的用户可以在1秒内进行上万次的密码尝试，这意味着你需要指定非常非常强大的密码来防止暴力破解。
设置密码：
[root@ser02 bin]# vim /data/redis/conf/redis.conf requirepass redis
（2）将危险的命令改名
rename-command set “sset” #将set改名为sset
为php安装redis客户端扩展
（1）获取源码包
wget https://github.com/nicolasff/phpredis/archive/master.zip
（2）安装
[root@redis01 ~]# ls -l phpredis-master.tar.gz -rw-r--r--. 1 root root 164509 Oct 2 19:23 phpredis-master.tar.gz [root@redis01 ~]# tar xf phpredis-master.tar.gz -C /usr/src/ [root@redis01 ~]# cd /usr/src/phpredis-master/ [root@redis01 phpredis-master]# /usr/local/php/bin/phpize [root@redis01 phpredis-master]# ./configure --with-php-config=/usr/local/php/bin/php-config [root@redis01 phpredis-master]# make && make install vim /etc/php.ini extensions = /usr/lib64/php/modules/redis.so [root@ser02 modules]# systemctl restart httpd
测试：
[root@ser02 redis]# cd /var/www/html/
[root@ser02 html]# vim 1.php
<?php $redis = new Redis();
$redis -> connect("192.168.25.151",4423);
$redis -> auth("redis");
$redis -> set("name","anliu");
$var = $redis -> get("name");
echo "$var";
?>
[root@ser02 html]# systemctl restart httpd
[root@ser02 html]# php 1.php
anliu
安装Python redis客户端操作redis
wget https://pypi.python.org/packages/source/r/redis/redis-2.10.1.tar.gz tar xf redis-2.10.1.tar.gz cd redis-2.10.1 python setup.py install
开发python程序操作redis
在操作前请将之前redis配置文件里修改的redis命令注释掉，否则报错
[root@redis01 redis-2.10.1]# python
Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import redis #引用redis支持库
>>> r = redis.Redis(host='10.0.0.135',port='6379',password='yunjisuan') #建立redis数据库的连接对象（面向对象方式）
>>> r.set('name','benet') #操作对象调用set方法写入数据
True
>>> r.get('name') #操作对象调用get方式读取数据
'benet'
>>> r.dbsize() #操作对象查看redis数据库的数据条数
1L
>>> r.keys() #查看所有的key
['name']
>>> exit() #退出
2.11 通过Web界面连接Python程序展示redis
开发Python脚本
[root@redis01 scripts]# cat python-redis.py
#/usr/bin/python
from wsgiref.simple_server import make_server
import redis
def get_redis():
r = redis.Redis(host='10.0.0.135',port='6379',password='yunjisuan',db=0)
r.set('name','yunyunyun')
return r.get('name')
def hello_world_app(environ,start_response):
status = '200 OK' #HTTP Status
headers = [('Content-type','text/plain')] #HTTP Headers
start_response(status,headers)
# The returned object is going to be printed
return get_redis()
httpd = make_server('',8000,hello_world_app)
print "Serving on port 8000..."
# Server until process is killed
httpd.serve_forever()
启动python脚本
注意关闭iptables [root@redis01 scripts]# python python-redis.py Serving on port 8000... #监听8000端口
以上是詳解redis持久化存儲的詳細內容。更多資訊請關注PHP中文網其他相關文章！