标签：python redis time db 并发 key lock now

问题由来：

当我们在采集某一个网站的时候，由于url基数太大，想将其用分布式进行爬取，将所有的url放在同一个redis库中，然后利用多个相同的程序同时去取redis库中的url。（也可以直接使用scrapy_redis,博主这里是根据自己的需求重新定义的）

# -*- coding: utf-8 -*-
import redis
import time

# 链接redis数据库
redis_db = redis.Redis(host='172.*.*.*', port=6379, decode_responses=True, db=1)


def get_redis_key(redis_key):
    LOCK_TIMEOUT = 3
    lock = 0
    lock_timeout = 0
    lock_key = 'temp_lock_key'
    # 获取锁
    while lock != 1:
        now = int(time.time())
        lock_timeout = now + LOCK_TIMEOUT + 1
        lock = redis_db.setnx(lock_key, lock_timeout)
        if lock == 1 or (now > int(redis_db.get(lock_key))) and now > int(
                redis_db.getset(lock_key, lock_timeout)):
            break
        else:
            time.sleep(0.01)
    # 已获得锁
    values = redis_db.spop(redis_key)
    # 释放锁
    now = int(time.time())
    if now < lock_timeout:
        redis_db.delete(lock_key)
    return values

完毕！

标签：python,redis,time,db,并发,key,lock,now
来源： https://blog.csdn.net/qq_26870933/article/details/100135870

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。