如何使用itertools模块进行高效的循环迭代？-Python教程-PHP中文网

itertools模块通过惰性求值和C级优化提供高效迭代，其核心函数如count、cycle、chain、groupby、product等，可实现内存友好且高性能的循环操作，适用于处理大数据、组合排列及序列连接等场景。

如何使用itertools模块进行高效的循环迭代？

说起Python里高效的循环迭代，

itertools

模块绝对是绕不开的话题。它就像一个藏宝阁，里面装满了各种“工具”，能让我们以一种极其优雅且内存友好的方式处理数据流。简单来说，它不是一次性把所有东西都搬出来，而是按需提供，尤其在处理那些需要组合、排列，甚至无限序列的场景下，它的性能优势和代码可读性简直是质的飞跃。它通过生成迭代器而非一次性列表，显著降低了内存消耗，同时提供了C语言级别优化的循环构建块，让复杂迭代变得简单而高效。

解决方案

itertools

模块的核心在于其提供的各种迭代器构建函数。这些函数返回的都是迭代器，这意味着它们不会一次性将所有结果加载到内存中，而是按需生成，这对于处理大量数据或无限序列时尤其重要。

以下是一些

itertools

中非常实用且常用的函数及其应用：

无限迭代器：

count(start=0, step=1)

：创建一个从

start

开始，每次增加

step

的无限序列。

import itertools
# 从10开始，每次加2的序列
for i in itertools.count(10, 2):
    if i > 20:
        break
    print(i) # 输出：10, 12, 14, 16, 18, 20

cycle(iterable)

：无限循环遍历一个可迭代对象。

for item in itertools.cycle(['A', 'B', 'C']):
    print(item)
    # 为了避免无限循环，这里需要一个终止条件
    if item == 'C':
        break # 输出：A, B, C

repeat(object, times=None)

：重复生成一个对象

times

次，如果

times

为

None

则无限重复。

for i in itertools.repeat('Hello', 3):
    print(i) # 输出：Hello, Hello, Hello

组合迭代器：

chain(*iterables)

：将多个可迭代对象连接起来，形成一个单一的迭代器。

for x in itertools.chain([1, 2], (3, 4), 'abc'):
    print(x, end=' ') # 输出：1 2 3 4 a b c

zip_longest(*iterables, fillvalue=None)

：类似于内置的

zip

，但会填充最短的序列，直到最长的序列结束。

for item in itertools.zip_longest([1, 2], ['a', 'b', 'c'], fillvalue='-'):
    print(item)
# 输出：(1, 'a'), (2, 'b'), ('-', 'c')

排列组合迭代器：

product(*iterables, repeat=1)

：计算输入可迭代对象的笛卡尔积。

repeat

参数指定重复多少次输入可迭代对象。

# 两个列表的笛卡尔积
for p in itertools.product('AB', 'CD'):
    print(''.join(p), end=' ') # 输出：AC AD BC BD
print()
# 重复自身两次的笛卡尔积 (等同于 product('ABC', 'ABC'))
for p in itertools.product('ABC', repeat=2):
    print(''.join(p), end=' ') # 输出：AA AB AC BA BB BC CA CB CC

permutations(iterable, r=None)

：生成

iterable

中所有长度为

的排列。如果

未指定，则默认为

iterable

的长度。

for p in itertools.permutations('ABC', 2):
    print(''.join(p), end=' ') # 输出：AB AC BA BC CA CB

combinations(iterable, r)

：生成

iterable

中所有长度为

的组合（不重复，不考虑顺序）。

for c in itertools.combinations('ABC', 2):
    print(''.join(c), end=' ') # 输出：AB AC BC

combinations_with_replacement(iterable, r)

：生成

iterable

中所有长度为

的组合，允许元素重复。

for c in itertools.combinations_with_replacement('ABC', 2):
    print(''.join(c), end=' ') # 输出：AA AB AC BB BC CC

过滤与切片迭代器：

Python Pep Authoring

依据官方 python/peps仓库规则起草、审阅、编辑或准备 Python 改进提案（PEP），用于处理 PEP 文本和元数据头部。

下载

islice(iterable, stop)

或

islice(iterable, start, stop[, step])

：返回一个迭代器，它产生

iterable

中被切片后的元素。

# 从无限序列中取前5个
for i in itertools.islice(itertools.count(), 5):
    print(i, end=' ') # 输出：0 1 2 3 4
print()
# 从10开始，取到20，步长为3
for i in itertools.islice(itertools.count(10), 0, 11, 3):
    print(i, end=' ') # 输出：10 13 16 19

takewhile(predicate, iterable)

：从

iterable

中取出元素，直到

predicate

函数返回

False

。

data = [1, 2, 3, 4, 1, 5, 6]
for x in itertools.takewhile(lambda x: x

dropwhile(predicate, iterable)

：跳过

iterable

中的元素，直到

predicate

函数返回

False

，然后返回所有剩余元素。

data = [1, 2, 3, 4, 1, 5, 6]
for x in itertools.dropwhile(lambda x: x

filterfalse(predicate, iterable)

：返回

predicate

函数返回

False

的元素。

data = [1, 2, 3, 4, 5, 6]
for x in itertools.filterfalse(lambda x: x % 2 == 0, data):
    print(x, end=' ') # 输出：1 3 5

分组迭代器：

groupby(iterable, key=None)

：根据

key

函数（或元素自身，如果

key

为

None

）对连续的相同元素进行分组。重要：使用前通常需要对数据进行排序。

things = [('animal', 'bear'), ('animal', 'duck'), ('plant', 'cactus'), ('vehicle', 'speed boat'), ('vehicle', 'bus')]
# 必须先排序
things.sort(key=lambda x: x[0])
for key, group in itertools.groupby(things, lambda x: x[0]):
    print(f"{key}: {list(group)}")
# 输出：
# animal: [('animal', 'bear'), ('animal', 'duck')]
# plant: [('plant', 'cactus')]
# vehicle: [('vehicle', 'speed boat'), ('vehicle', 'bus')]

itertools为何被称为“高效”？

这问题问得好，很多人初次接触

itertools

，可能觉得只是换了个写法，没啥大不了的。但它高效的核心在于‘惰性求值’。想象一下，你要处理一百万个数据点的所有排列组合，如果用列表推导式，比如

list(permutations(my_large_list))

，那内存可能瞬间就爆了，因为Python会尝试一次性生成所有结果并存储在一个巨大的列表中。

itertools

则不同，它只在你需要下一个元素时才计算并生成它，就像一个智能的流水线工人，绝不多做一步，只生产你当前需要的那个零件。

这不仅节省了宝贵的内存，对于处理海量数据或无限序列时几乎是唯一的选择，而且由于很多

itertools

函数的底层实现是用C语言编写的，所以执行效率也远高于纯Python实现的等效逻辑。这是一种兼顾内存和CPU效率的优化策略，尤其在数据密集型或计算密集型任务中，其优势非常明显。

itertools中常用的函数有哪些，它们在实际中如何应用？

模块里函数不少，但有些真的是‘明星产品’，用起来特别顺手，能解决很多实际问题：

product
(笛卡尔积): 想想做电商网站，一个商品有颜色（红、蓝）、尺码（S、M、L）、材质（棉、麻）多种属性，你想列出所有可能的SKU组合？
```
product
```
一句话搞定。比如：
```
list(itertools.product(['红', '蓝'], ['S', 'M', 'L'], ['棉', '麻']))
```
，结果一目了然，这比自己写三层嵌套循环要简洁高效得多。
combinations
(组合): 如果你正在做数据分析或机器学习，需要从一堆特征里选出所有N个特征的组合进行测试，
```
combinations
```
就是你的利器。它不会重复，也不考虑顺序。比如从
```
['age', 'gender', 'income', 'city']
```
里选2个特征的所有组合：
```
list(itertools.combinations(features, 2))
```
，这能帮你快速生成所有特征对进行交叉验证。
groupby
(分组): 这功能在处理日志、数据库查询结果时简直是神来之笔。比如你有一堆用户操作记录，想按用户ID分组统计每个用户的行为。
```
groupby
```
能把连续相同的元素归类，前提是数据得先排序。假设你有
```
logs = [{'user': 'A', 'action': 'login'}, {'user': 'A', 'action': 'view'}, {'user': 'B', 'action': 'logout'}]
```
，先
```
logs.sort(key=lambda x: x['user'])
```
，然后
```
for k, g in itertools.groupby(logs, key=lambda x: x['user']): print(k, list(g))
```
，就能清晰地看到每个用户的操作序列。这比自己写循环判断、维护字典高效多了。
chain
(链式连接): 想象你有好几个列表或迭代器，比如从不同来源获取的数据，想把它们当成一个整体来遍历，
```
chain
```
就是干这个的。
```
for x in itertools.chain(user_data_from_db, user_data_from_cache, user_data_from_file): process(x)
```
。它避免了创建新的大列表，省内存，而且代码逻辑也更清晰。

与传统的Python循环或列表推导式相比，itertools在性能和内存上有什么优势？

这个问题其实跟第一个有点像，但我们更聚焦于具体的对比。最直观的例子就是处理大规模数据。

内存方面： 传统的列表推导式会一次性生成所有结果并存储在内存中。比如
```
[x for x in range(10**7)]
```
，这会瞬间占用几十甚至上百MB的内存。而
```
itertools.count()
```
或者其他迭代器，它们只在需要时才提供下一个值，内存占用几乎是恒定的，只存储当前状态和下一个值的生成逻辑。当你处理的数据量远超可用内存容量时，
```
itertools
```
几乎是唯一的选择，否则程序会因为内存溢出而崩溃。
性能方面：
```
itertools
```
的函数大部分都在C语言层面实现了优化，所以执行效率很高。对于一些复杂的组合、排列操作，如果自己用纯Python循环去写，不仅代码量大，而且性能往往不如
```
itertools
```
。例如，生成一个大列表的所有排列，自己写可能涉及多层嵌套循环和列表操作，这在Python解释器层面开销很大。而
```
itertools.permutations
```
直接高效地吐出迭代器，其内部的C实现能更快地计算出下一个排列。当然，对于非常简单的循环，比如
```
for i in range(10)
```
，
```
itertools.count(0)
```
可能不会带来显著优势，甚至因为函数调用开销略高一点点。所以，选择工具要看场景，
```
itertools
```
的优势主要体现在处理复杂迭代逻辑和大规模数据时。