redis setnx 分布式锁

http://xiaorui.cc/2014/12/19/python%E4%BD%BF%E7%94%A8redis%E5%AE%9E%E7%8E%B0%E5%8D%8F%E5%90%8C%E6%8E%A7%E5%88%B6%E7%9A%84%E5%88%86%E5%B8%83%E5%BC%8F%E9%94%81/

http://blog.csdn.net/lihao21/article/details/49104695

https://www.cnblogs.com/my_life/articles/9259576.html

 

借用redis setnx来原子性的加一个锁，然后用expire来控制过期时间。(另一种方式是不使用expire命令，用当前时间+超时时间来设置setnx的值)

注: setnx跟set的区别在于，setnx是原子性的操作，用set会出现一个问题，比如我先get key看看key是否存在，当我再次去判断的时候，有可能别人把这个key给配置了，这就成了非原子操作。 

 

使用Redis的 SETNX 命令可以实现分布式锁，下文介绍其实现方法。

SETNX命令简介

命令格式

SETNX key value

将 key 的值设为 value，当且仅当 key 不存在。 
若给定的 key 已经存在，则 SETNX 不做任何动作。 
SETNX 是SET if Not eXists的简写。

返回值

返回整数，具体为 
- 1，当 key 的值被设置 
- 0，当 key 的值没被设置

例子

redis> SETNX mykey “hello” 
(integer) 1 
redis> SETNX mykey “hello” 
(integer) 0 
redis> GET mykey 
“hello” 
redis>

使用SETNX实现分布式锁

多个进程执行以下Redis命令：

SETNX lock.foo <current Unix time + lock timeout + 1>

如果 SETNX 返回1，说明该进程获得锁，SETNX将键 lock.foo 的值设置为锁的超时时间（当前时间 + 锁的有效时间）。 
如果 SETNX 返回0，说明其他进程已经获得了锁，进程不能进入临界区。进程可以在一个循环中不断地尝试 SETNX 操作，以获得锁。

解决死锁

考虑一种情况，如果进程获得锁后，断开了与 Redis 的连接（可能是进程挂掉，或者网络中断），如果没有有效的释放锁的机制，那么其他进程都会处于一直等待的状态，即出现“死锁”。

上面在使用 SETNX 获得锁时，我们将键 lock.foo 的值设置为锁的有效时间，进程获得锁后，其他进程还会不断的检测锁是否已超时，如果超时，那么等待的进程也将有机会获得锁。

然而，锁超时时，我们不能简单地使用 DEL 命令删除键 lock.foo 以释放锁。考虑以下情况，进程P1已经首先获得了锁 lock.foo，然后进程P1挂掉了。进程P2，P3正在不断地检测锁是否已释放或者已超时，执行流程如下：

• P2和P3进程读取键 lock.foo 的值，检测锁是否已超时（通过比较当前时间和键 lock.foo 的值来判断是否超时）
• P2和P3进程发现锁 lock.foo 已超时
• P2执行 DEL lock.foo命令
• P2执行 SETNX lock.foo命令，并返回1，即P2获得锁
• P3执行 DEL lock.foo命令将P2刚刚设置的键 lock.foo 删除（这步是由于P3刚才已检测到锁已超时）
• P3执行 SETNX lock.foo命令，并返回1，即P3获得锁
• P2和P3同时获得了锁

从上面的情况可以得知，在检测到锁超时后，进程不能直接简单地执行 DEL 删除键的操作以获得锁。

为了解决上述算法可能出现的多个进程同时获得锁的问题，我们再来看以下的算法。 
我们同样假设进程P1已经首先获得了锁 lock.foo，然后进程P1挂掉了。接下来的情况：

• 进程P4执行 SETNX lock.foo 以尝试获取锁
• 由于进程P1已获得了锁，所以P4执行 SETNX lock.foo 返回0，即获取锁失败
• P4执行 GET lock.foo 来检测锁是否已超时，如果没超时，则等待一段时间，再次检测
• 如果P4检测到锁已超时，即当前的时间大于键 lock.foo 的值，P4会执行以下操作 
  GETSET lock.foo <current Unix timestamp + lock timeout + 1>
• 由于 GETSET 操作在设置键的值的同时，还会返回键的旧值，通过比较键 lock.foo 的旧值是否小于当前时间，可以判断进程是否已获得锁
• 假如另一个进程P5也检测到锁已超时，并在P4之前执行了 GETSET 操作，那么P4的 GETSET 操作返回的是一个大于当前时间的时间戳，这样P4就不会获得锁而继续等待。注意到，即使P4接下来将键 lock.foo 的值设置了比P5设置的更大的值也没影响。

另外，值得注意的是，在进程释放锁，即执行 DEL lock.foo 操作前，需要先判断锁是否已超时。如果锁已超时，那么锁可能已由其他进程获得，这时直接执行 DEL lock.foo 操作会导致把其他进程已获得的锁释放掉(此时就不能删除)。

程序代码

https://www.cnblogs.com/my_life/articles/9262791.html

用以下Python代码来实现上述的使用 SETNX 命令作分布式锁的算法。

LOCK_TIMEOUT = 3
lock = 0
lock_timeout = 0
lock_key = 'lock.foo'

# 获取锁
while lock != 1:
    now = int(time.time())
    lock_timeout = now + LOCK_TIMEOUT + 1
    lock = redis_client.setnx(lock_key, lock_timeout)
    if lock == 1 or (now > int(redis_client.get(lock_key))) and now > int(redis_client.getset(lock_key, lock_timeout)):     1：成功获得锁；  或者锁已经超时(now > old_time)并且GETSET成功(old_time < now: 说明还没有其他进程设置更新新的时间)
         break
    else:
        time.sleep(0.001)

# 已获得锁
do_job()

# 释放锁
now = int(time.time())
if now < lock_timeout:     //在锁的有效期内，之前我成功获得了锁，当然我也可以安全的delete它；   这是在同一个代码片段里
    redis_client.delete(lock_key)

参考资料

• http://redis.io/commands/setnx
• http://redis.io/topics/distlock
• http://redis.io/commands/getset
• http://redis.readthedocs.org/en/latest/string/setnx.html
• http://my.oschina.net/u/1995545/blog/366381

 

 

import os, sys 
sys.path.insert(0, os.path.realpath(".."))
import time
from taskredis import get_redis_client

LOCK_TIMEOUT = 7 
lock_key = '{}.lock'

def get_lock(lock_name):
    redis_client = get_redis_client()
    retryTimes = 0 
    lock = False
    lock_timeout = 0 
    try:
        while lock != True and retryTimes < 30: 
            now = int(time.time())
            lock_timeout = now + LOCK_TIMEOUT + 1 
            lock = redis_client.setnx(lock_key.format(lock_name), lock_timeout)
            if lock == True or (now > int(redis_client.get(lock_key.format(lock_name)))) and now > int(redis_client.getset(lock_key.format(lock_name), lock_timeout)):                                                                         
                return True
            else:
                time.sleep(0.5)
                retryTimes += 1
        return False
    except:
        return True
    return True


def free_lock(lock_name):
    redis_client = get_redis_client()
    try:
        lock_timeout = redis_client.get(lock_key.format(lock_name))  //获取锁的有效时间
        if not lock_timeout:               //锁不存在，无需free
            return
        lock_timeout = int(lock_timeout)
        now = int(time.time())
        if now < int(lock_timeout):        //在有效期内，可以安全删除；  否则的话，代表有其他进程获取了锁，并更新了时间，你不能乱来删除
            redis_client.delete(lock_key.format(lock_name))
    except:
        pass
    return