itertools 里被低估的 6 个工具
itertools 是 Python 标准库里最被低估的模块之一。很多人只记得 chain 和 permutations,其实它提供了一组"迭代器原语",能在不一次性把数据全部载入内存的前提下完成很多常见操作。本文挑选 6 个日常容易被忽略、但很好用的工具,每个都附带可运行示例。
1. islice:惰性切片
列表切片 [1:5] 会先生成一个完整新列表,而 islice 在迭代时才取元素,适合处理大文件或无限序列。
from itertools import islice
nums = (x * 2 for x in range(1000000)) # 惰性生成器
first_five = list(islice(nums, 5)) # [0, 2, 4, 6, 8]
# 跳过前 10 个,再取 3 个
sub = list(islice(nums, 10, 13)) # [20, 22, 24]
print(first_five, sub)
注意 islice 不接受负数索引,这是它与列表切片的重要差异。
2. tee:把一个迭代器"分身"
tee 能把一个迭代器复制成 n 份,各自独立消费,而不需要先把数据存成列表。
from itertools import tee
data = iter([1, 2, 3, 4])
a, b = tee(data, 2)
print(sum(a), sum(b)) # 10 10
代价是:如果一份消费得远快于另一份,未消费的那些元素会被缓存到内存里。所以 tee 适合"多份几乎同步消费"的场景,不要拿它当通用的"重复使用列表"替代。
3. takewhile / dropwhile:按条件截断
takewhile 在条件为真时持续产出,一旦遇到第一个不满足的就停;dropwhile 则相反,先跳过满足条件的,从第一个不满足的开始产出。
from itertools import takewhile, dropwhile
scores = [90, 85, 70, 60, 95]
print(list(takewhile(lambda x: x >= 80, scores))) # [90, 85]
print(list(dropwhile(lambda x: x >= 80, scores))) # [70, 60, 95]
这两个函数只扫描到第一个"拐点",不会继续往后判断,非常高效。
4. groupby:相邻分组
groupby 把相邻的、key 相同的元素聚成一组。它不会跨位置合并,所以使用前的常见做法是先 sorted。
from itertools import groupby
records = [("A", 1), ("A", 2), ("B", 3), ("A", 4)]
records.sort(key=lambda r: r[0])
for key, group in groupby(records, key=lambda r: r[0]):
print(key, list(group))
# A [('A', 1), ('A', 2)]
# B [('B', 3)]
# A [('A', 4)]
记住:它只看"相邻是否相等",不保证全局去重分组,排序这一步往往不能省。
5. accumulate:累积计算
accumulate 默认做累加,也可以传入任意二元函数做累积运算,比如求累计最大值、累计乘积。
from itertools import accumulate
import operator
print(list(accumulate([1, 2, 3, 4]))) # [1, 3, 6, 10]
print(list(accumulate([1, 2, 3, 4], operator.mul)))# [1, 2, 6, 24]
print(list(accumulate([3, 1, 4, 2], max))) # [3, 3, 4, 4]
比起手写 for 循环维护一个累加变量,accumulate 更短也更不容易出错。
6. zip_longest:长度不齐也要对齐
内置 zip 遇到最短的输入就停了;zip_longest 则会用 fillvalue 补齐较短的那一侧,常用于把多列数据按行拼齐。
from itertools import zip_longest
keys = ["name", "age"]
vals = ["Tom"] # 故意少一项
for k, v in zip_longest(keys, vals, fillvalue="N/A"):
print(f"{k}: {v}")
# name: Tom
# age: N/A
小结
以上 6 个工具的共同点是"惰性"——它们在需要时才产出数据,对大序列尤其友好。islice 做惰性切片,tee 复制迭代器,takewhile/dropwhile 做条件截断,groupby 处理相邻分组,accumulate 做累积运算,zip_longest 补齐对齐。把它们放进工具箱,很多循环都能写得更短、更 Pythonic。

浙公网安备 33010602011771号