Die Einfügegeschwindigkeit der Python-Redis-Liste ist zu langsam

Question

pool = redis.ConnectionPool(host=host, port=port)
client = redis.StrictRedis(connection_pool=pool)

for i in range(10000):
    for j in range(30):
        client.lpush(IDLE_TASKS, json.dumps(args))
 

Diese Ausführungseffizienz ist schrecklich niedrig.
Sie müssen Dutzende Sekunden warten, bis das Einfügen abgeschlossen ist.
Gibt es eine effizientere Möglichkeit, damit umzugehen?

args ist nur ein Tupel mit Inhalten wie (1,2,"3")

Answer 1

因为我个人没用过redis这个库, 所以只能尝试从你给出的代码去给些建议, 不喜勿喷:

1.不知道你的这个args是哪来的, 但是在这个循环体中, 似乎没看到改变, 所以能否将这个json.dumps(args)放到循环体外面执行:

args_dump = json.dumps(args)
for i in range(10000):
    for j in range(30):
        client.lpush(IDLE_TASKS, args_dump)

2.看到你大概要生成30万的同样的数据, 能否将这个数据先生成, 再一次性client.lpush? 因为毕竟tcp也有自身的延迟因素

3.可以通过cProfile库去找出耗时长的地方, 也可以尝试换别的库去实现(这个具体得自己去google了)