怪我咯2017-04-18 10:14:48
改成异步也没多大用处,你这里是计算密集型,你的费时应该在 "key in need_cols", need_cols应该也是一个很大的数组,想办法优化这块就好。
试试改成这样
ind = set(i.keys()) & set(need_cols)
temp = {d: i[d] for d in ind}
高洛峰2017-04-18 10:14:48
自问自答
改成生成器就好了
def data_generator(*args):
for i in v_data: # v_data是个较大的dict
temp = {key: value for key, value in i.iteritems() if key in need_cols} # 部分key不需要
temp["sid"] = sid # 单独加一个sid
yield temp