判断列表是否有重复元素最简方式是len(lst) != len(set(lst)),时间复杂度o(n),但要求元素可哈希;不可哈希时会报错,需转元组等替代方案。

用 set() 判断列表是否有重复元素最简方式
直接比较 len(lst) 和 len(set(lst)) 是最快判断“是否存在重复”的方法,时间复杂度 O(n),空间 O(n)。它不关心谁重复、重复几次,只回答“有没有”。
常见错误是误以为 set(lst) == lst 有效——这完全不对,因为 set 无序且类型不同,永远返回 False。
- ✅ 正确写法:
has_duplicates = len(lst) != len(set(lst)) - ❌ 错误写法:
lst == list(set(lst))(顺序打乱,还多一次转换) - ⚠️ 注意:空列表或单元素列表必然返回
False,符合直觉
想找出具体哪些元素重复?别只用 set()
set() 本身不保留频次信息,所以光靠它无法定位重复项。你需要额外计数逻辑。
最常用且清晰的做法是配合 collections.Counter:
from collections import Counter cnt = Counter(lst) duplicates = [x for x, n in cnt.items() if n > 1]
如果你坚持纯内置函数、不用第三方模块,可用 list.count(),但性能差(O(n²)),仅适合小列表:
-
[x for x in set(lst) if lst.count(x) > 1]—— 简洁但慢 - 注意:这个表达式结果无序,且重复元素只出现一次(符合“去重后找重复”的本意)
set() 去重对比长度在什么场景下会失效
核心限制只有一个:元素必须是可哈希的(hashable)。遇到不可哈希类型(如字典、列表、集合本身),set(lst) 直接抛出 TypeError: unhashable type。
例如:
lst = [[1, 2], [3, 4], [1, 2]] # 包含 list set(lst) # ❌ TypeError
此时不能用 set 对比长度。替代思路包括:
- 转成元组再处理(前提是内层元素都可哈希):
set(tuple(x) for x in lst) - 用
json.dumps()序列化(需确保结构简单、无循环引用) - 逐个用
in手动比对(极慢,仅调试用)
性能差异真的明显吗?实测一下
对 10 万整数列表,len(lst) != len(set(lst)) 耗时约 8–12ms;而用 list.count() 方案平均超 2.5 秒——差了两个数量级。
真正容易被忽略的是内存开销:构造 set 需要额外一倍存储空间。如果列表极大(比如千万级字符串),且你只关心“第一个重复项是否出现”,用 set 缓存 + 提前退出的循环更省内存:
seen = set()
for x in lst:
if x in seen:
print("found duplicate:", x)
break
seen.add(x)
这种写法在找到第一个重复时立刻停止,既快又省内存,但逻辑比单纯比长度稍重一点。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











