python迭代器、生成器、yield理解

简介

yield关键字是python的一种高阶用法，使用yield的函数会返回一个生成器对象，生成器又是一个迭代器，与迭代器相类似的则是可迭代对象，下面首先介绍一下迭代器吧。

迭代器

在python中规定，当一个对象里面实现了__iter__、__next__的这两个魔法函数时，则此对象为迭代器。对于迭代器来说，__iter__返回迭代器自身，__next__返回容器中的下一个值，如果容器中没有更多元素了，则抛出StopIteration异常。
如下是官方的说法：

用来表示一连串数据流的对象。重复调用迭代器的 __next__() 方法（或将其传给内置函数 next()）将逐个返回流中的项。当没有数据可用时则将引发 StopIteration 异常。到这时迭代器对象中的数据项已耗尽，继续调用其 __next__() 方法只会再次引发 StopIteration 异常。迭代器必须具有 __iter__() 方法用来返回该迭代器对象自身，因此迭代器必定也是可迭代对象，可被用于其他可迭代对象适用的大部分场合。一个显著的例外是那些会多次重复访问迭代项的代码。容器对象（例如 list）在你每次向其传入 iter() 函数或是在 for 循环中使用它时都会产生一个新的迭代器。如果在此情况下你尝试用迭代器则会返回在之前迭代过程中被耗尽的同一迭代器对象，使其看起来就像是一个空容器。

class iter_test(object):

    def __init__(self, num):
        self.digit = -1
        self.num = num

    # 返回对象本身
    def __iter__(self):
        return self

    # 返回迭代器的下一个对象
    def __next__(self):
        # 返回下一个对象
        if self.digit < self.num - 1:
            self.digit += 1
            return self.digit 
        else:
            # 当不存在下一个元素时抛出 迭代异常
            raise StopIteration
t = iter_test(10)
print(next(t))
print(next(t))
print(next(t))
print(next(t))
print(next(t))
print(next(t))
print(next(t))
print(next(t))
print(next(t))
print(next(t))
print(next(t))
print(next(t))

可迭代对象

实现了__inter__方法并返回迭代器对象（__iter__,__next__）的对象就叫做可迭代对象，例如字符串、列表、字典、集合、元组，可迭代对象可以被for循环。

生成器

它不需要再像上面的类一样写__iter__()和__next__()方法了，只需要一个yiled关键字。 生成器一定是迭代器（反之不成立），因此任何生成器也是以一种懒加载的模式生成值。
注意事项

• 如果容器对象 __iter__()方法被实现为一个生成器，它将自动返回一个迭代器对象（从技术上说是一个生成器对象）
• 如果自定义迭代器对象使用了生成器，则只需要对__iter__方法实现生成器即可，不能再添加__next__方法

反向迭代

yield关键字

在调用生成器函数的过程中，每次遇到 yield 时函数会暂停并保存当前所有的运行信息（保留局部变量），返回yield的值, 并在下一次执行next()方法时从当前位置继续运行，直到生成器被全部遍历完。
例：斐波那契序列
普通写法

def fib(count):
    m = 1
    n = 1
    a = 0
    ret = []
    while a < count:
        ret.append(n)
        n, m = m, m+n
        a += 1
    return ret

for item in fib(6):
    print(item)

yield关键字写法,与普通写法类似，只是将列表存储换成了yield，但是会大大减少内存消耗,并且可以使用next进行逐个的结果输出，当实例化对象时，只是创建了一个生成器，只有当进行迭代遍历时才会生成对应对象

def fib2(count):
    m = 1
    n = 1
    a = 0
    while a < count:
        yield n
        n, m = m, m+n
        a += 1

fib2 = fib2(6)
print(next(fib2))
print(next(fib2))
print(next(fib2))
print(next(fib2))

yield关键字与return类似，都是执行结果返回，但是return一般为处理完成后返回全部结果，而yield则是在处理过程中暂停当前的运行状态并返回一个结果，且在下次执行时接着上次的执行结果继续执行，内存消耗相对少。
与yield的next函数相关的还有一个send函数

send函数

与next函数功能类似，但send函数可以修改yield 的返回值

def fib3(count):
    m = 1
    n = 1
    a = 0
    while a < count:
        y_ret = yield n
        print(f'y_ret:{y_ret}')
        n, m = m, m+n
        a += 1

fib3 = fib3(6)
print(fib3.send(None))
print(fib3.send(2))
print(fib3.send(3))
print(next(fib3))
print(next(fib3))
print(next(fib3))

需要注意的是send在获取第一个值时必须传None，send是对上次暂停执行的yield进行赋值，因此，在第一个没到yield时无法传值

yield使用场景

一般而言，对于数据处理时，我们都会存储在一个序列中，但这回消耗较大的内存，yield可以优化这种问题。
yield适用于那种按照特定格式或者逻辑处理的数据，注意返回的是生成器，需要遍历或者next获取元素

• 数据的集合
• 简化代码结构
  以上两点都几乎都是基于for循环

yield from

python3.3出现，适用于生成器的嵌套，
yield from 后面需要加的是可迭代对象，它可以是普通的可迭代对象，也可以是迭代器，甚至是生成器。

参考

yield理解
yield使用场景