itertools 里被低估的 6 个工具

itertools 是 Python 标准库里最被低估的模块之一。很多人只记得 chain 和 permutations,其实它提供了一组"迭代器原语",能在不一次性把数据全部载入内存的前提下完成很多常见操作。本文挑选 6 个日常容易被忽略、但很好用的工具,每个都附带可运行示例。

1. islice:惰性切片

列表切片 [1:5] 会先生成一个完整新列表,而 islice 在迭代时才取元素,适合处理大文件或无限序列。

from itertools import islice

nums = (x * 2 for x in range(1000000))  # 惰性生成器
first_five = list(islice(nums, 5))      # [0, 2, 4, 6, 8]
# 跳过前 10 个,再取 3 个
sub = list(islice(nums, 10, 13))        # [20, 22, 24]
print(first_five, sub)

注意 islice 不接受负数索引,这是它与列表切片的重要差异。

2. tee:把一个迭代器"分身"

tee 能把一个迭代器复制成 n 份,各自独立消费,而不需要先把数据存成列表。

from itertools import tee

data = iter([1, 2, 3, 4])
a, b = tee(data, 2)
print(sum(a), sum(b))  # 10 10

代价是:如果一份消费得远快于另一份,未消费的那些元素会被缓存到内存里。所以 tee 适合"多份几乎同步消费"的场景,不要拿它当通用的"重复使用列表"替代。

3. takewhile / dropwhile:按条件截断

takewhile 在条件为真时持续产出,一旦遇到第一个不满足的就停;dropwhile 则相反,先跳过满足条件的,从第一个不满足的开始产出。

from itertools import takewhile, dropwhile

scores = [90, 85, 70, 60, 95]
print(list(takewhile(lambda x: x >= 80, scores)))  # [90, 85]
print(list(dropwhile(lambda x: x >= 80, scores)))  # [70, 60, 95]

这两个函数只扫描到第一个"拐点",不会继续往后判断,非常高效。

4. groupby:相邻分组

groupby 把相邻的、key 相同的元素聚成一组。它不会跨位置合并,所以使用前的常见做法是先 sorted。

from itertools import groupby

records = [("A", 1), ("A", 2), ("B", 3), ("A", 4)]
records.sort(key=lambda r: r[0])
for key, group in groupby(records, key=lambda r: r[0]):
    print(key, list(group))
# A [('A', 1), ('A', 2)]
# B [('B', 3)]
# A [('A', 4)]

记住:它只看"相邻是否相等",不保证全局去重分组,排序这一步往往不能省。

5. accumulate:累积计算

accumulate 默认做累加,也可以传入任意二元函数做累积运算,比如求累计最大值、累计乘积。

from itertools import accumulate
import operator

print(list(accumulate([1, 2, 3, 4])))              # [1, 3, 6, 10]
print(list(accumulate([1, 2, 3, 4], operator.mul)))# [1, 2, 6, 24]
print(list(accumulate([3, 1, 4, 2], max)))         # [3, 3, 4, 4]

比起手写 for 循环维护一个累加变量,accumulate 更短也更不容易出错。

6. zip_longest:长度不齐也要对齐

内置 zip 遇到最短的输入就停了;zip_longest 则会用 fillvalue 补齐较短的那一侧,常用于把多列数据按行拼齐。

from itertools import zip_longest

keys = ["name", "age"]
vals = ["Tom"]  # 故意少一项
for k, v in zip_longest(keys, vals, fillvalue="N/A"):
    print(f"{k}: {v}")
# name: Tom
# age: N/A

小结

以上 6 个工具的共同点是"惰性"——它们在需要时才产出数据,对大序列尤其友好。islice 做惰性切片,tee 复制迭代器,takewhile/dropwhile 做条件截断,groupby 处理相邻分组,accumulate 做累积运算,zip_longest 补齐对齐。把它们放进工具箱,很多循环都能写得更短、更 Pythonic。

posted @ 2026-11-15 08:51  徽音说AI搜索  阅读(0)  评论(0)    收藏  举报