Redis学习初步

工作需要，从零开始学习redis，这里把我的一篇工作日志共享一下，希望和大家共同学习。Redis(linux)**********************************************************************Install: Download Address: http://redis.io 解压以后到解压目录: make 启动redis server: redis-server 备注：make install的时候permission detied，使用sudo**********************************************************************Data Types: key的限制: 1. 使用分离器构成key => cache:blog:custmor 2. 尽量短小 3. 兼可读性和常规长度 Strings: 任何string，甚至存储二进制数据，或者缓存图片，但是单个value不应该超过 512MB Lists: 向链表头和尾增加element比较快，适合做队列 Hashes: 存储复杂对象，一个value中有几个field Sets and Sorted Set: Set不允许element重复.允许典型的操作，比如交集，合集.但是内存使用比list高 Sorted Set是set的一个特例，允许排序**********************************************************************Client: 1.命令行对数据进行操作: 连接远程服务器 redis-cli -h <serverip:eg:127.0.0.1> redis-cli –version //查看版本为2.2.11 非默认端口连接本地服务器 redis-cli -p 6380 本机测试，结果为not connected，如果改为默认的6379则可以登录 2.使用Ruby进行对数据进行操作 gem install redis //安装redis-rb library，版本为2.2.2，注意不要装两个版本的redis，最新的为2.4.8，如果你已经安装了redis，就不要进行这步操作了 >require ‘redis’ //测试 =>true //good to go >r = Redis.new //建立一个新的连接 >r.set ‘key’,’value’ >r.get ‘key’ //=>value >r.sadd ‘key’, ‘value1’ >r.sadd ‘key’, ‘value2’ >r.smember ‘key’ //=>[value1,value2] 3.在RoR应用程序中，使用Redis存储读取数据 在Gemfile中，增加 gem ‘redis’ ，删除Gemfile.lock，重新bundle install 在/appname/config/initializers/下建立一个文件filename.rb并加入如下字段:$redis = Redis.new， 则在rails中产生了一个全局变量$redis连接数据库的对象,可以在rails console中调试 使用它的时候，在控制器中调用$redis就可以了**********************************************************************Leveraging Redis: 1.将Redis用作KEY/VALUE存储器 increment storing in hash //Redis official documentation for hash commands hset/hget/hgetall/ hmset hash-name key1 value1 key2 value2.. hget hash-name key hdel hash-name key storing in sets sadd/smembers/sinter/sunion inpecting data //检查数据: keys * type keyname keys h*llo //key with h as head and with llo as end keys h?llo //key with one charactor inside keys h[ac]llo //key between hallo and hcllo //keys命令会查询整个服务器，因此一般做法时把我们需要的的键列表加入到一个set，然后query它**********************************************************************Some Functions In Redis 1.Redis顶部实现OAuth: //功能貌似无关______________________________________________________________________ 2.使用Redis的Pub/Sub功能创建一个聊天系统: command line方式实现 : 一个终端启动redis-server 一个终端连接服务器,并作为消息订阅: psubscribe news.share //选择单个通道接收，多个通道接收，可以定义为news.* 另一个终端连接服务器，并作为消息发布:publish news.share “share a link http://baidu.com” 在消息订阅端，就可以接收到redis server广播过来的消息______________________________________________________________________ 3.实现反向索引法的text查找______________________________________________________________________ 4.分析和时间的数据(作为大型数据库的缓存使用): 使用哈西表来存储计数器，使用hincrby来进行增长，通过hget和hmget来获取这些计数器,通过使用sort命令，来获取顶端的元素也是相当容易的:______________________________________________________________________ 5.实现工作队列 : 使用list实现任务队列 ______________________________________________________________________ 6.扩展Redis (it won’t be included in Redis 2.4) Redis脚本在2.4版本中不会包含*********************************************************************Redis 管理员和维护: 1.配置数据持久化 Configure Persistence 在redis.conf文件中，databases default=16 redis>select <dbid> //选择不同数据库 持久化方式：snapshotting和append-only file i) snapshotting: save 900 1 //900秒后如果至少1个key变化，则保存到dump.rdb save 300 10 //300秒后如果至少10个key变化 save 60 10000 //60秒后如果至少10000个key变化 //可以根据项目需求进行配置save为主线程功能，会造成主线程阻塞，bgsave命令在后台运行 client端也可以使用save命令，但是操作结果是内存中的数据全部写入db而不是增量写入，导致内存中有大量数据的时候，会严重影响性能. 注意：快照方式是在一定间隔时间做一次的，所以如果redis意外down掉的话，就会丢失最后一次快照后的所有修改.如果应用要求不能丢失任何修改的话，可以采用aof持久化方式. ii)append-only file 该方式时每一个写命令都会通过write函数追加到文件中.在redis重启的时候，会将整个文件中的数据，重建到内存当中appendonly.aof. appendonly yes //启用aof持久化方式 # appendfsync always //每次收到写命令就立即强制写入磁盘，最慢的，但是保证完全的持久化，不推荐使用 appendfsync everysec //每秒钟强制写入磁盘一次，在性能和持久化方面做了很好的折中，推荐 # appendfsync no //完全依赖os，性能最好,持久化没保证快照和appendonly比较： 快照为间歇性将内存数据写入磁盘，dump.rdb可以设置为1小时快照一次，作为数据库备份.如果快照给redis server的负担过大的话，那么考虑使用从站. append only file将内存数据写入磁盘，redis重启后内存中重建数据库.如果有庞大的数据，并且这些数据不经常改变的话，那么考虑使用AOF.数据库的恢复: 默认保存的dump.rdb和appendonly.aof均可以作为数据库恢复的源，重新启动server的时候，自动根据conf文件中配置的地址，调用这些文件来恢复内存数据库. 2.开启一个Redis从站(Redis支持1主N从的方式) 简单来说就是使用不同配置文件启动两个服务 主server的conf文件中配置: slaveof <masterip:eg:127.0.0.1> <slaveport:6379> 3.处理大于物理内存的数据集: Redis VM //弃用 4.Redis的升级 方案from 《Redis Cookbook》 1)不重启现有服务的情况下，安装新的Redis版本 2)创建新的redis.conf文件，指定redis在6380端口运行(因为默认主server在6379启动)和一个不同的DB路径 3)开启新的服务 4)连接到新服务，并且输入如下命令: SLAVEOF localhost 6379 //同步数据,使用INFO命令查看6380的连接状态，如果master_link_status:up，则复制时有效的 5)目前位置新的服务已经升级完成，你可以开始将客户端移动到新的服务.你可以通过INFO命令检查连接到一个服务的客户端数量，检查connected_clients 6)当所有的客户端都连接到了从服务，你仍然有两个任务需要完成:disable复制并且关闭主服务: 6-1)连接到从服务，输入如下命令: SLAVEOF NO ONE 6-2)连接到旧的主服务，输入如下命令: SHUTDOWN //如果出现如下错误:(error) ERR Errors trying to SHUTDOWN. Check logs.则可能是权限问题，因为在shutdown命令的时候，会进行save操作，而save需要操作dump.rdb文件，如果没有权限则会报这个错. 6-3)你的新Redis系统上线运行了，但是要确认你所有的配置，初始脚本，备份等，均要只想正确的位置并开启正确的服务.忘记那些常规的操作很容易，但是你应该至少确认万一服务重启的时候不会出问题.//以上操作结束后，通过INFO命令查看，从服务已经切换位主服务，并且是升级以后的版本. 关于配置文件的另一些有用的设置: 最大可使用内存 最大可连接客户端数***********************************************************Redis 命令总结连接操作相关的命令? quit：关闭连接（connection）? auth：简单密码认证对value操作的命令? exists(key)：确认一个key是否存在? del(key)：删除一个key? type(key)：返回值的类型? keys(pattern)：返回满足给定pattern的所有key? randomkey：随机返回key空间的一个key? rename(oldname, newname)：将key由oldname重命名为newname，若newname存在则删除newname表示的key? dbsize：返回当前数据库中key的数目? expire：设定一个key的活动时间（s）? ttl：获得一个key的活动时间? select(index)：按索引查询? move(key, dbindex)：将当前数据库中的key转移到有dbindex索引的数据库? flushdb：删除当前选择数据库中的所有key? flushall：删除所有数据库中的所有key对String操作的命令? set(key, value)：给数据库中名称为key的string赋予值value? get(key)：返回数据库中名称为key的string的value? getset(key, value)：给名称为key的string赋予上一次的value? mget(key1, key2,…, key N)：返回库中多个string（它们的名称为key1，key2…）的value? setnx(key, value)：如果不存在名称为key的string，则向库中添加string，名称为key，值为value? setex(key, time, value)：向库中添加string（名称为key，值为value）同时，设定过期时间time? mset(key1, value1, key2, value2,…key N, value N)：同时给多个string赋值，名称为key i的string赋值value i? msetnx(key1, value1, key2, value2,…key N, value N)：如果所有名称为key i的string都不存在，则向库中添加string，名称key i赋值为value i? incr(key)：名称为key的string增1操作? incrby(key, integer)：名称为key的string增加integer? decr(key)：名称为key的string减1操作? decrby(key, integer)：名称为key的string减少integer? append(key, value)：名称为key的string的值附加value? substr(key, start, end)：返回名称为key的string的value的子串对List操作的命令? rpush(key, value)：在名称为key的list尾添加一个值为value的元素? lpush(key, value)：在名称为key的list头添加一个值为value的 元素? llen(key)：返回名称为key的list的长度? lrange(key, start, end)：返回名称为key的list中start至end之间的元素（下标从0开始，下同）? ltrim(key, start, end)：截取名称为key的list，保留start至end之间的元素? lindex(key, index)：返回名称为key的list中index位置的元素? lset(key, index, value)：给名称为key的list中index位置的元素赋值为value? lrem(key, count, value)：删除count个名称为key的list中值为value的元素。count为0，删除所有值为value的元素，count>0从头至尾删除count个值为value的元素，count<0从尾到头删除|count|个值为value的元素。? lpop(key)：返回并删除名称为key的list中的首元素? rpop(key)：返回并删除名称为key的list中的尾元素? blpop(key1, key2,… key N, timeout)：lpop命令的block版本。即当timeout为0时，若遇到名称为key i的list不存在或该list为空，则命令结束。如果timeout>0，则遇到上述情况时，等待timeout秒，如果问题没有解决，则对key i+1开始的list执行pop操作。? brpop(key1, key2,… key N, timeout)：rpop的block版本。参考上一命令。? rpoplpush(srckey, dstkey)：返回并删除名称为srckey的list的尾元素，并将该元素添加到名称为dstkey的list的头部对Set操作的命令? sadd(key, member)：向名称为key的set中添加元素member? srem(key, member) ：删除名称为key的set中的元素member? spop(key) ：随机返回并删除名称为key的set中一个元素? smove(srckey, dstkey, member) ：将member元素从名称为srckey的集合移到名称为dstkey的集合? scard(key) ：返回名称为key的set的基数? sismember(key, member) ：测试member是否是名称为key的set的元素? sinter(key1, key2,…key N) ：求交集? sinterstore(dstkey, key1, key2,…key N) ：求交集并将交集保存到dstkey的集合? sunion(key1, key2,…key N) ：求并集? sunionstore(dstkey, key1, key2,…key N) ：求并集并将并集保存到dstkey的集合? sdiff(key1, key2,…key N) ：求差集? sdiffstore(dstkey, key1, key2,…key N) ：求差集并将差集保存到dstkey的集合? smembers(key) ：返回名称为key的set的所有元素? srandmember(key) ：随机返回名称为key的set的一个元素对zset（sorted set）操作的命令? zadd(key, score, member)：向名称为key的zset中添加元素member，score用于排序。如果该元素已经存在，则根据score更新该元素的顺序。? zrem(key, member) ：删除名称为key的zset中的元素member? zincrby(key, increment, member) ：如果在名称为key的zset中已经存在元素member，则该元素的score增加increment；否则向集合中添加该元素，其score的值为increment? zrank(key, member) ：返回名称为key的zset（元素已按score从小到大排序）中member元素的rank（即index，从0开始），若没有member元素，返回“nil”? zrevrank(key, member) ：返回名称为key的zset（元素已按score从大到小排序）中member元素的rank（即index，从0开始），若没有member元素，返回“nil”? zrange(key, start, end)：返回名称为key的zset（元素已按score从小到大排序）中的index从start到end的所有元素? zrevrange(key, start, end)：返回名称为key的zset（元素已按score从大到小排序）中的index从start到end的所有元素? zrangebyscore(key, min, max)：返回名称为key的zset中score >= min且score <= max的所有元素? zcard(key)：返回名称为key的zset的基数? zscore(key, element)：返回名称为key的zset中元素element的score? zremrangebyrank(key, min, max)：删除名称为key的zset中rank >= min且rank <= max的所有元素? zremrangebyscore(key, min, max) ：删除名称为key的zset中score >= min且score <= max的所有元素? zunionstore / zinterstore(dstkeyN, key1,…,keyN, WEIGHTS w1,…wN, AGGREGATE SUM|MIN|MAX)：对N个zset求并集和交集，并将最后的集合保存在dstkeyN中。对于集合中每一个元素的score，在进行AGGREGATE运算前，都要乘以对于的WEIGHT参数。如果没有提供WEIGHT，默认为1。默认的AGGREGATE是SUM，即结果集合中元素的score是所有集合对应元素进行SUM运算的值，而MIN和MAX是指，结果集合中元素的score是所有集合对应元素中最小值和最大值。对Hash操作的命令? hset(key, field, value)：向名称为key的hash中添加元素field<—>value? hget(key, field)：返回名称为key的hash中field对应的value? hmget(key, field1, …,field N)：返回名称为key的hash中field i对应的value? hmset(key, field1, value1,…,field N, value N)：向名称为key的hash中添加元素field i<—>value i? hincrby(key, field, integer)：将名称为key的hash中field的value增加integer? hexists(key, field)：名称为key的hash中是否存在键为field的域? hdel(key, field)：删除名称为key的hash中键为field的域? hlen(key)：返回名称为key的hash中元素个数? hkeys(key)：返回名称为key的hash中所有键? hvals(key)：返回名称为key的hash中所有键对应的value? hgetall(key)：返回名称为key的hash中所有的键（field）及其对应的value持久化? save：将数据同步保存到磁盘? bgsave：将数据异步保存到磁盘? lastsave：返回上次成功将数据保存到磁盘的Unix时戳? shundown：将数据同步保存到磁盘，然后关闭服务远程服务控制? info：提供服务器的信息和统计? monitor：实时转储收到的请求? slaveof：改变复制策略设置? config：在运行时配置Redis服务器与其用泪水悔恨今天，不如用汗水拼搏今天。