Redis永続ストレージの詳しい説明
- coldplay.xixi転載
- 2020-11-24 16:59:034037ブラウズ
#redis データベース チュートリアルこのコラムでは、redis の永続ストレージについて紹介します。 。
redis の概要 REmote DIctionary Server (Redis) は、キーと値のペアに基づく永続的なデータベース ストレージ システムです。 Redis は有名な Memcached キャッシュ サービス ソフトウェアとよく似ていますが、Redis は、文字列 (文字列)、リスト (リスト)、セット (コレクション)、ソートされたセット (順序付きセット) などを含む、memcached よりも多くのデータ ストレージ タイプをサポートしています。
これらのデータ型は、プッシュ/ポップ、追加/削除、交差、結合、差分などの豊富な操作をサポートしており、これらの操作はすべてアトミックです。これに基づいて、redis はさまざまな並べ替え方法をサポートします。 memcached キャッシュ サービスと同様に、効率を確保するためにデータをメモリにキャッシュしてサービスを提供します。 memcached とは異なり、redis 永続キャッシュ サービスは更新されたデータを定期的にディスクに書き込み、変更された操作レコードを記録用のファイルに追加します。memcached よりも有利なのは、redis がマスターとスレーブ (マスターとスレーブ) の同期もサポートしていることです。リレーショナルデータベースMySQLのマスタ・スレーブレプリケーション機能へ。
Redis は、C 言語で書かれたオープンソースのログタイプの Key-Value データベース (コード行数 30,000 行以上) で、ネットワークをサポートし、メモリベースで永続化でき、複数の言語で API を提供します。 2010 年 3 月 15 日以降、Redis の開発は VMware によってホストされています。
Redis ソフトウェアの登場により、memcached などのキーと値のメモリ キャッシュ サービスの欠点がある程度補われ、場合によっては、リレーショナル データベースに対して非常に優れた補助的な役割を果たすことができます。 redis は Python、Ruby、Erlang、および PHP クライアントを提供します。
key-value键值类型存储 支持数据可靠存储及落地 单进程单线程高性能服务器 crash safe & recovery slow 单机qps可以达到10W 适合小数据量高速读写访问1.3 Redis の利点
memcached とは異なり、Redis はストレージを永続化できます。 データのパフォーマンスは次のとおりです。非常に高い: Redis は、1 秒あたり 10W を超える読み取りおよび書き込み頻度をサポートできます。1.4 redis の欠陥と落とし穴豊富なデータ型: Redis は、バイナリ文字列、リスト、ハッシュ、セット、ソートされたセット、およびその他のデータ型操作をサポートします
アトミック: Redis のすべての操作はアトミックであり、Redis はいくつかの操作のすべての操作もサポートします。マージ
豊富な機能: Redis は、パブリッシュ/サブスクライブ (パブリッシュ/サブスクライブ)、通知、キーの有効期限などの機能もサポートしています。 Redis は、クロスマシンのマスター/スレーブ レプリケーションをサポートしています。
システム操作に不具合があります
さまざまなコマンドのレイテンシは大幅に異なります
大きなメモリ管理オーバーヘッド (物理メモリの 3/5 未満に設定) )
バッファ io によりシステム OOM (メモリ オーバーフロー) が発生する
Redis は、キーと値のストレージ システム データベースとして、キー (Key) と値 (Value) のマッピング関係を提供します。ただし、通常の数値や文字列に加えて、Redis キー値は次のいずれかの形式にすることもできます。最も一般的に使用されるデータ型は次のとおりです:
String 字符串 Hash 哈希表 List 列表 Set 集合 Sorted set 有序集合1.6 redispersistence
通常、Redis はデータをメモリに保存するか、仮想メモリを使用するように構成されます。データの永続性は 2 つの方法で実現できます。1 つはスナップショットを使用してメモリ内のデータをディスクに継続的に書き込む方法、もう 1 つは MySQL のようなバイナリ ログ ログ (aof ですが、マスターとスレーブの同期には使用されません) を使用して、更新されるたびにログを記録する方法です。前者はパフォーマンスが高くなりますが、ある程度のデータ損失が発生する可能性があり、後者は逆の効果があります。1.7 redis アプリケーション シナリオ
redis の最良のアプリケーション シナリオ
- Redis の最良の試用シナリオはすべてのデータがメモリ内にある
- Redis update 複数のシナリオが Memcached の代替として使用されます。
- データは比較的重要であり、ビジネスではデータの一貫性に対する特定の要件があります。
- キー/値以外のデータ型のサポートが必要な場合は、Redis を使用する方が適切です。
- マスター/スレーブ同期と負荷分散分散アプリケーション シナリオを提供する必要がある (redis マスター/スレーブ同期)
Mustマスター/スレーブのマスター/スレーブ同期構成を実行します。これは、サービス障害が発生したときに切り替えることができます。
マスターでデータの永続性を無効にし、スレーブでデータの永続性を構成するだけで済みます
物理メモリと仮想メモリが不足しています。この時点では、ダンプが停止し続け、時間が経つとマシンがハングします。この状況は大惨事です！#Redis の物理メモリ使用量が総メモリ容量の 3/5 を超えると、危険性が高まり、スワップが開始され、大規模なメモリの断片化が発生します
最大メモリに達すると、キーの有効期限が切れていない場合でも、有効期限のあるキーはクリアされます。
redis与DB同步写的问题，先写DB，后写redis，因为写内存基本上没有问题。
快速部署一个redis环境
2.1 Redis部署环境搭建
主机名 eth0 用途 Master-redis01 10.0.0.135 主Redis Slave-redis02 10.0.0.136 从Redis
2.2 开始安装redis服务
在redis的官方网站（http://www.redis.io）下载最新的稳定版本redis。
wget -q http://download.redis.io/releases/redis-2.8.9.tar.gz
#在redis01和redis02都执行如下操作
[root@redis01 ~]# tar xf redis-2.8.9.tar -C /usr/src/ [root@redis01 ~]# cd /usr/src/redis-2.8.9/ [root@redis01 redis-2.8.9]# make MALLOC=jemalloc [root@redis01 redis-2.8.9]# make PREFIX=/usr/local/redis install [root@redis01 redis-2.8.9]# LANG=en [root@redis01 redis-2.8.9]# tree /usr/local/redis/bin/ /usr/local/redis/bin/ ├── redis-benchmark ├── redis-check-aof ├── redis-check-dump ├── redis-cli └── redis-server 0 directories, 5 files
命令执行完成之后，会在/usr/local/redis/bin/目录下生成5个可执行文件，分别是：
redis-server,redis-cli,redis-benchmark,redis-check-aof,redis-check-dump
它们的作用如下：
redis-server #Redis服务器的daemon启动程序 redis-cli #Redis命令操作工具。当然，你也可以用telnet根据其纯文本协议来操作 redis-benchmark #Redis性能测试工具，测试Redis在你的系统及你的配置下的读写性能。 redis-check-aof #对更新日志appendonly.aof检查，是否可用，类似检查mysql binlog的工具 redis-check-dump #用于本地数据库rdb文件的检查
2.3 配置并启动redis服务
（1）配置启动命令
操作过程：
[root@redis01 redis-2.8.9]# ln -s /usr/local/redis/bin/* /usr/local/bin/
（2）查看命令帮助：
[root@redis01 redis-2.8.9]# redis-server -h Usage: ./redis-server [/path/to/redis.conf] [options] ./redis-server - (read config from stdin) ./redis-server -v or --version ./redis-server -h or --help ./redis-server --test-memory <megabytes> Examples: ./redis-server (run the server with default conf) ./redis-server /etc/redis/6379.conf ./redis-server --port 7777 ./redis-server --port 7777 --slaveof 127.0.0.1 8888 ./redis-server /etc/myredis.conf --loglevel verbose Sentinel mode: ./redis-server /etc/sentinel.conf --sentinel</megabytes>
（3）启动redis服务
操作过程：
#从源程序目录复制redis.conf到程序安装目录下
[root@redis01 redis-2.8.9]# cd /usr/src/redis-2.8.9/ [root@redis01 redis-2.8.9]# pwd /usr/src/redis-2.8.9 [root@redis01 redis-2.8.9]# mkdir /usr/local/redis/conf [root@redis01 redis-2.8.9]# cp redis.conf /usr/local/redis/conf/
#启动redis服务
[root@redis01 redis-2.8.9]# redis-server /usr/local/redis/conf/redis.conf &
#查看redis进程启动情况
[root@redis01 redis-2.8.9]# ps -ef | grep redis | grep -v grep root 3169 1288 0 10:17 pts/0 00:00:00 redis-server *:6379
特别提示：
redis启动成功后，在最后会出现如下警示信息：
[3169] 02 Oct 10:17:30.689 # Server started, Redis version 2.8.9 [3169] 02 Oct 10:17:30.690 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. [3169] 02 Oct 10:17:30.690 * The server is now ready to accept connections on port 6379
#警示大概意思为：
overcommit_memory被设置为了0.如果内存不够的情况下后台保存可能会失败；要解决这个问题，需要在/etc/sysctl.conf配置文件中将vm.overcommit_memory设置为1;或者通过命令“sysctl vm.overcommit_memory=1”来修改。
因此，我们做一下处理后在启动redis进程
[root@redis01 redis-2.8.9]# pkill redis [root@redis01 redis-2.8.9]# sysctl vm.overcommit_memory=1 vm.overcommit_memory = 1 [root@redis01 redis-2.8.9]# redis-server /usr/local/redis/conf/redis.conf &
经过处理后，再启动redis就没有任何警告了。
vm.overcommit_memory参数说明：
根据内核文档，该参数有三个值，分别是：
0:当用户空间请求更多的内存时，内核尝试估算出剩余可用的内存。
1:当设这个参数值为1时，内核允许超量使用内存直到用完为止，主要用于科学计算
2:当设这个参数值为2时，内核会使用一个绝不过量使用内存的算法，即系统整个内存地址空间不能超过swap+50%的RAM值，50%参数的设定是在overcommit_ratio中设定。
测试关闭redis服务的命令
redis-cli shutdown 关闭redis进程
[root@redis01 redis-2.8.9]# ps -ef | grep redis | grep -v grep root 3200 1288 0 10:38 pts/0 00:00:08 redis-server *:6379 [root@redis01 redis-2.8.9]# redis-cli shutdown [3200] 02 Oct 12:43:46.621 # User requested shutdown... [3200] 02 Oct 12:43:46.621 * Saving the final RDB snapshot before exiting. [3200] 02 Oct 12:43:46.630 * DB saved on disk [3200] 02 Oct 12:43:46.631 # Redis is now ready to exit, bye bye... [1]+ Done redis-server /usr/local/redis/conf/redis.conf [root@redis01 redis-2.8.9]# ps -ef | grep redis | grep -v grep [root@redis01 redis-2.8.9]# redis-server /usr/local/redis/conf/redis.conf
redis自启动脚本
[root@ser02 redis]# vim redserver.sh
#!/bin/bash
stop(){
/data/redis/bin/redis-cli -a redis shutdown
}
start(){
/data/redis/bin/redis-server /data/redis/conf/redis.conf &
}
conn(){
/data/redis/bin/redis-cli -a redis
}
case $1 in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
conn)
conn
;;
*)
echo "Usage:$0 (start|stop|restart)"
esac
[root@ser02 redis]# chmod +x redserver.sh
[root@ser02 redis]# vim /etc/profile
export PATH=/data/redis/:$PATH
[root@ser02 redis]# source /etc/profile
redserver.sh start ##开启redis服务
redserver.sh conn ##登录redis
2.4 通过客户端操作redis数据库
下面我们来简单操作一下数据库。
插入数据：设置一个key-value对
[root@redis01 redis-2.8.9]# redis-cli #通过客户端连接本地redis 127.0.0.1:6379> set id 001 #写入一条数据key（id），value（001） OK 127.0.0.1:6379> get id #取值key（id） "001" #显示key对应的值 127.0.0.1:6379> del id #删除key（id） (integer) 1 #1表示成功 127.0.0.1:6379> exists id #验证key是否存在 (integer) 0 #0表示不存在 127.0.0.1:6379> get id #取key的值 (nil) #报错信息 127.0.0.1:6379> set user001 benet OK 127.0.0.1:6379> set user002 yunjisuan OK 127.0.0.1:6379> set user003 yun123 OK 127.0.0.1:6379> get user001 "benet" 127.0.0.1:6379> get user002 "yunjisuan" 127.0.0.1:6379> keys * #查看redis里所有的key 1) "user003" 2) "user002" 3) "user001"
更多操作方式及命令帮助
（1）redis数据库的表模式
127.0.0.1:6379> keys * #查看所有key 1) "user003" 2) "user002" 3) "user001" 127.0.0.1:6379> select 1 #切换到表1模式 OK 127.0.0.1:6379[1]> keys * #查询所有key (empty list or set) #什么都没有 127.0.0.1:6379[1]> set name wangwu #写入一个key-value对 OK 127.0.0.1:6379[1]> keys * #查看所有key 1) "name" #key（name）已经有了 127.0.0.1:6379[1]> get name #查看key（name）的值 "wangwu" 127.0.0.1:6379[1]> select 0 #切换回表0模式（初始模式） OK 127.0.0.1:6379> keys * #查看所有key 1) "user003" 2) "user002" 3) "user001"
（2）redis-cli客户端的远程连接及非交互式操作数据库
[root@redis01 redis-2.8.9]# redis-cli -h 10.0.0.135 -p 6379 10.0.0.135:6379> quit [root@redis01 redis-2.8.9]# redis-cli -h 10.0.0.135 -p 6379 set aaa 111 OK [root@redis01 redis-2.8.9]# redis-cli -h 10.0.0.135 -p 6379 get aaa "111"
redis安全
（1）为redis客户端设置外部链接密码
警告：
因为redis速度相当快，所以在一台比较好的服务器下，一个外部的用户可以在1秒内进行上万次的密码尝试，这意味着你需要指定非常非常强大的密码来防止暴力破解。
设置密码：
[root@ser02 bin]# vim /data/redis/conf/redis.conf requirepass redis
（2）将危险的命令改名
rename-command set “sset” #将set改名为sset
为php安装redis客户端扩展
（1）获取源码包
wget https://github.com/nicolasff/phpredis/archive/master.zip
（2）安装
[root@redis01 ~]# ls -l phpredis-master.tar.gz -rw-r--r--. 1 root root 164509 Oct 2 19:23 phpredis-master.tar.gz [root@redis01 ~]# tar xf phpredis-master.tar.gz -C /usr/src/ [root@redis01 ~]# cd /usr/src/phpredis-master/ [root@redis01 phpredis-master]# /usr/local/php/bin/phpize [root@redis01 phpredis-master]# ./configure --with-php-config=/usr/local/php/bin/php-config [root@redis01 phpredis-master]# make && make install vim /etc/php.ini extensions = /usr/lib64/php/modules/redis.so [root@ser02 modules]# systemctl restart httpd
测试：
[root@ser02 redis]# cd /var/www/html/
[root@ser02 html]# vim 1.php
<?php $redis = new Redis();
$redis -> connect("192.168.25.151",4423);
$redis -> auth("redis");
$redis -> set("name","anliu");
$var = $redis -> get("name");
echo "$var";
?>
[root@ser02 html]# systemctl restart httpd
[root@ser02 html]# php 1.php
anliu
安装Python redis客户端操作redis
wget https://pypi.python.org/packages/source/r/redis/redis-2.10.1.tar.gz tar xf redis-2.10.1.tar.gz cd redis-2.10.1 python setup.py install
开发python程序操作redis
在操作前请将之前redis配置文件里修改的redis命令注释掉，否则报错
[root@redis01 redis-2.10.1]# python
Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import redis #引用redis支持库
>>> r = redis.Redis(host='10.0.0.135',port='6379',password='yunjisuan') #建立redis数据库的连接对象（面向对象方式）
>>> r.set('name','benet') #操作对象调用set方法写入数据
True
>>> r.get('name') #操作对象调用get方式读取数据
'benet'
>>> r.dbsize() #操作对象查看redis数据库的数据条数
1L
>>> r.keys() #查看所有的key
['name']
>>> exit() #退出
2.11 通过Web界面连接Python程序展示redis
开发Python脚本
[root@redis01 scripts]# cat python-redis.py
#/usr/bin/python
from wsgiref.simple_server import make_server
import redis
def get_redis():
r = redis.Redis(host='10.0.0.135',port='6379',password='yunjisuan',db=0)
r.set('name','yunyunyun')
return r.get('name')
def hello_world_app(environ,start_response):
status = '200 OK' #HTTP Status
headers = [('Content-type','text/plain')] #HTTP Headers
start_response(status,headers)
# The returned object is going to be printed
return get_redis()
httpd = make_server('',8000,hello_world_app)
print "Serving on port 8000..."
# Server until process is killed
httpd.serve_forever()
启动python脚本
注意关闭iptables [root@redis01 scripts]# python python-redis.py Serving on port 8000... #监听8000端口
以上がRedis永続ストレージの詳しい説明の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。