collections模块

5.15.1 collections模块

在内置数据类型（dict、list、set、tuple）的基础上，collections模块还提供了几个额外的数据类型：Counter、deque、defaultdict、namedtuple和OrderedDict等。

1. namedtuple: 生成可以使用名字来访问元素内容的tuple

2. deque: 双端队列，可以快速的从另外一侧追加和推出对象

3. Counter: 计数器，主要用来计数

4. OrderedDict: 有序字典

5. defaultdict: 带有默认值的字典

• namedtuple

用法

from collections import namedtuple

namedtuple('name',[属性])

实例

from collections import namedtuple

Point = namedtuple('Point',['x','y'])
p = Point(1,2)

print(p.x)  # 1
print(p.y)  # 2

• deque

collections.deque返回一个新的双向队列对象，从左到右初始化(用方法 append()) ，从 iterable （迭代对象) 数据创建。如果 iterable 没有指定，新队列为空。

collections.deque队列支持线程安全，对于从两端添加(append)或者弹出(pop)，复杂度O(1)。

虽然list对象也支持类似操作，但是这里优化了定长操作（pop(0)、insert(0,v)）的开销。

如果 maxlen 没有指定或者是 None ，deques 可以增长到任意长度。否则，deque就限定到指定最大长度。一旦限定长度的deque满了，当新项加入时，同样数量的项就从另一端弹出。

# 支持的方法：
append(x)：添加x到右端

appendleft(x)：添加x到左端

clear()：清楚所有元素，长度变为0

copy()：创建一份浅拷贝

count(x)：计算队列中个数等于x的元素

extend(iterable)：在队列右侧添加iterable中的元素

extendleft(iterable)：在队列左侧添加iterable中的元素，注：在左侧添加时，iterable参数的顺序将会反过来添加

index(x[,start[,stop]])：返回第 x 个元素（从 start 开始计算，在 stop 之前）。返回第一个匹配，如果没找到的话，升起 ValueError 。

insert(i,x)：在位置 i 插入 x 。注：如果插入会导致一个限长deque超出长度 maxlen 的话，就升起一个 IndexError 。

pop()：移除最右侧的元素

popleft()：移除最左侧的元素

remove(value)：移去找到的第一个 value。没有抛出ValueError

reverse()：将deque逆序排列。返回 None 。

maxlen：队列的最大长度，没有限定则为None。

使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。

deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：

from collections import deque

q = deque(['a','b','c'])

q.append('d')
q.appendleft('e')

print(q)
# deque(['e', 'a', 'b', 'c', 'd'])

deque除了实现list的append()和pop()外，还支持appendleft()和popleft()，这样就可以非常高效地往头部添加或删除元素。

• OrderedDict

使用dict时，Key是无序的。在对dict做迭代时，我们无法确定Key的顺序。

如果要保持Key的顺序，可以用OrderedDict：

from collections import OrderedDict

d = dict([('a',1),('b',2),('c',4)])
print(d)
# {'a': 1, 'b': 2, 'c': 4}

od = OrderedDict([('a',1),('b',2),('c',4)])
print(od)
OrderedDict([('a', 1), ('b', 2), ('c', 4)])

OrderedDict的Key会按照插入的顺序排列，不是Key本身排序：

from collections import OrderedDict
od = OrderedDict()

od['z'] = 1
od['y'] = 2
od['x'] = 3

od.keys() # 按照插入的Key的顺序返回
# ['z', 'y', 'x']

• defaultdict

为字典的没有的key提供一个默认的值。参数应该是一个函数，当没有参数调用时返回默认值。如果没有传递任何内容，则默认为None。

将集合 [11,22,33,44,55,66,77,88,99,90...]，所有大于 66 的值保存至字典的第一个key中，小于 66 的值保存至第二个key的值中。

即： {'k1': [大于66] , 'k2': [小于66]}

使用正常字典方式则需要判断key是否存在如果不存在则要先添加key：

lst = [11,22,33,44,55,77,88,99,90]
dict1 = {}

for row in lst:
    if row > 66:
        if 'key1' not in dict1:
            dict1['key1'] = []
        dict1['key1'].append(row)
    else:
        if 'key2' not in dict1:
            dict1['key2'] = []
        dict1['key2'].append(row)

print(dict1)

而使用defaultdict则不需要

from collections import defaultdict

values = [11, 22, 33,44,55,66,77,88,99,90]

my_dict = defaultdict(list)

for value in  values:
    if value>66:
        my_dict['key1'].append(value)
    else:
        my_dict['key2'].append(value)

print(my_dict)
# defaultdict(<class 'list'>, {'key2': [11, 22, 33, 44, 55, 66], 'key1': [77, 88, 99, 90]})

使用dict时，如果引用的Key不存在，就会抛出KeyError。如果希望key不存在时，返回一个默认值，就可以用defaultdict：

from collections import defaultdict
lst = defaultdict(lambda: 'N/A')

lst['key1'] = 'abc'

print(lst['key1']) # key1存在
# abc
print(lst['key2']) # key2不存在，返回默认值
# 'N/A'

• Counter

Counter类的目的是用来跟踪值出现的次数。它是一个无序的容器类型，以字典的键值对形式存储，其中元素作为key，其计数作为value。计数值可以是任意的Interger（包括0和负数）。Counter类和其他语言的bags或multisets很相似。

from collections import Counter

c = Counter('abcdeabcdabcaba')

print(c)
# Counter({'a': 5, 'b': 4, 'c': 3, 'd': 2, 'e': 1})

Counter类的创建

from collections import Counter

c = Counter()  # 创建一个空的Counter类

c = Counter('gallahad')  # 从一个可iterable对象（list、tuple、dict、字符串等）创建

c = Counter({'a': 4, 'b': 2})  # 从一个字典对象创建

c = Counter(a=4, b=2)  # 从一组键值对创建

计数值的访问与缺失的键

c = Counter("abcdefgab")

print(c["a"])
# 2

print(c["c"])
# 1

print(c["h"])
# 0

计数器的更新（update和subtract）

可以使用一个iterable对象或者另一个Counter对象来更新键值。

计数器的更新包括增加和减少两种。其中，增加使用update()方法：

c = Counter('which')
c.update('witch')  # 使用另一个iterable对象更新

print(c['h'])
# 3

d = Counter('watch')
c.update(d)  # 使用另一个Counter对象更新

print(c['h'])
# 4

减少则使用subtract()方法：

计数器的更新（subtract）

c = Counter('which')
c.subtract('witch')  # 使用另一个iterable对象更新
print(c['h'])
# 1

d = Counter('watch')
c.subtract(d)  # 使用另一个Counter对象更新
print(c['a'])
# -1

键的修改和删除

当计数值为0时，并不意味着元素被删除，删除元素应当使用del。

键的删除

c = Counter("abcdcba")

print(c)
# Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

c["b"] = 0
print(c)
# Counter({'a': 2, 'c': 2, 'd': 1, 'b': 0})

del c["a"]
print(c)
# Counter({'c': 2, 'b': 2, 'd': 1})

elements()

返回一个迭代器。元素被重复了多少次，在该迭代器中就包含多少个该元素。元素排列无确定顺序，个数小于1的元素不被包含。
elements()方法。

c = Counter(a=4, b=2, c=0, d=-2)

print(list(c.elements()))
# ['a', 'a', 'a', 'a', 'b', 'b']

most_common([n])

返回一个TopN列表。如果n没有被指定，则返回所有元素。当多个元素计数值相同时，排列是无确定顺序的。

most_common()方法

c = Counter('abracadabra')
print(c.most_common())
# [('a', 5), ('r', 2), ('b', 2), ('c', 1), ('d', 1)]

print(c.most_common(3))
# [('a', 5), ('r', 2), ('b', 2)] 

浅拷贝copy

c = Counter("abcdcba")
print(c)
# Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

d = c.copy()
print(d)
# Counter({'a': 2, 'c': 2, 'b': 2, 'd': 1})

算术和集合操作

+、-、&、|操作也可以用于Counter。其中&和|操作分别返回两个Counter对象各元素的最小值和最大值。需要注意的是，得到的Counter对象将删除小于1的元素。

Counter对象的算术和集合操作

c = Counter(a=3, b=1)
d = Counter(a=1, b=2)

print(c + d)
# c[x] + d[x]
# Counter({'a': 4, 'b': 3})

print(c - d)
# subtract（只保留正数计数的元素）
# Counter({'a': 2})

print(c & d)
# 交集:  min(c[x], d[x])
# Counter({'a': 1, 'b': 1})

print(c | d)
# 并集:  max(c[x], d[x])
# Counter({'a': 3, 'b': 2})

其他常用操作

下面是一些Counter类的常用操作，来源于Python官方文档
Counter类常用操作

sum(c.values())  # 所有计数的总数
c.clear()  # 重置Counter对象，注意不是删除
list(c)  # 将c中的键转为列表
set(c)  # 将c中的键转为set
dict(c)  # 将c中的键值对转为字典
c.items()  # 转为(elem, cnt)格式的列表
Counter(dict(list_of_pairs))  # 从(elem, cnt)格式的列表转换为Counter类对象
c.most_common()[:-n:-1]  # 取出计数最少的n个元素
c += Counter()  # 移除0和负值