首頁  >  問答  >  主體

python redis 多進程使用

class RedisClient(object):
    def __init__(self):
        pool = redis.ConnectionPool(host='127.0.0.1', port=6379)
        self.client = redis.StrictRedis(connection_pool=pool)

根據文件寫了一個帶有連接池的redis client,然後產生一個實例全域使用。
將一個實例,在多執行緒中共用測試過正常。
但是多進程情況,測試失敗

class ProcessRdeisTest(Process):
    def __init__(self,client):
        self._client = client

這樣寫,執行start時,會報錯,無法序列化之類。
改為:

class ProcessRdeisTest(Process):
    def __init__(self):
        pass
    def run(self):
        self._client = RedisClient()
        while Ture:
            dosomething()
        

這樣倒是能運作起來,不過這種連接方式正確嗎?是否有更好的辦法實現?

在主執行緒中 直接
process1 = ProcessRdeisTest('p1')
process1.start()
這種方式呼叫

巴扎黑巴扎黑2711 天前1101

全部回覆(1)我來回復

  • typecho

    typecho2017-06-08 11:04:09

    樓主,python redis有自己的連接池:

    import redis
    import threading
    
    class RedisPool(object):
        __mutex = threading.Lock()
        __remote = {}
    
        def __new__(cls, host, passwd, port, db):
            with RedisPool.__mutex:
                redis_key = "%s:%s:%s" % (host, port, db)
                redis_obj = RedisPool.__remote.get(redis_key)
                if redis_obj is None:
                    redis_obj = RedisPool.__remote[redis_key] = RedisPool.new_redis_pool(host, passwd, port, db)
            return redis.Redis(connection_pool=redis_obj)
    
        def __init__(self, host, passwd, port, db):
            pass
    
        @staticmethod
        def new_redis_pool(host, passwd, port, db):
            redis_obj = redis.ConnectionPool(host=host, password=passwd,
                                             port=port, db=db, socket_timeout=3, max_connections=10) # max_connection default 2**31
            return redis_obj
    

    回覆
    0
  • 取消回覆