使用 collections.deque 并设置 maxlen 参数,可以在内存中自动维护固定长度的最新数据序列。当新数据加入导致超出限制时,旧数据会从另一端自动淘汰,无需手动编写清理逻辑。以下示例基于 python 3.10+ 环境演示。

配置自动淘汰的队列容器
在处理流式数据或日志时,通常只需要关注最近产生的若干条记录。Python 标准库中的 deque(双向队列)支持通过 maxlen 参数指定最大容量。一旦队列长度达到该值,再次执行 append 操作时,左侧最旧的元素会自动被移除,从而保持队列长度恒定。这种机制比手动切片列表更高效,因为 deque 在两端的操作时间复杂度均为 O(1)。
from collections import deque
# 创建仅保留最近 5 条记录的队列
recent_logs = deque(maxlen=5)
# 模拟写入 7 条记录
for i in range(7):
recent_logs.append(f"log_{i}")
print(list(recent_logs))

验证正常写入与溢出淘汰行为
为了确认淘汰机制是否按预期工作,可以构造一个超过 maxlen 的数据输入场景。观察输出结果,应发现最早写入的前两条记录已不存在,队列中仅包含最后写入的五条记录。这证明了 deque 在内部自动处理了旧数据的丢弃,开发者无需关心具体的索引计算。
from collections import deque
recent_logs = deque(maxlen=5)
data = [f"item_{i}" for i in range(7)]
for item in data:
recent_logs.append(item)
# 预期输出:['item_2', 'item_3', 'item_4', 'item_5', 'item_6']
print(list(recent_logs))
转换为列表用于 JSON 序列化
deque 对象本身不支持直接转换为 JSON 字符串,因为 JSON 标准主要支持数组和对象类型。在实际应用中,若需将最近 N 条记录持久化或通过网络传输,需先将其转换为标准的 list。转换过程会复制当前队列中的所有元素,生成一个新的列表实例,此时可安全地使用 json.dumps 进行序列化。注意,此操作仅反映当前时刻的快照,后续对原 deque 的修改不会影响已生成的列表。
import json
from collections import deque
recent_records = deque(maxlen=3)
recent_records.append("user_login")
recent_records.append("data_fetch")
recent_records.append("api_call")
# 转换为列表以便序列化
record_list = list(recent_records)
json_output = json.dumps(record_list)
# 预期输出:["user_login", "data_fetch", "api_call"]
print(json_output)
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











