多任务-协程

目录

  迭代器

  生成器

  协程-yield

  协程-greenlet

  协程-gevent

  进程、线程、协程区别

  

一、迭代器

    迭代是访问集合元素的一种方式。迭代器是一个可以记住遍历位置的对象。迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束。迭代器只能往前不会后退。

  1.可迭代对象

    我们已经知道可以对list、tuple、str等类型的数据使用for...in...的循环语法从其中依次拿到数据进行使用,我们把这样的过程称为遍历,也叫迭代

    但是,是否所有的数据类型都可以放到for...in...的语句中,然后让for...in...每次从中取出一条数据供我们使用,既供我们迭代吗?

    

  >>> for i in 100:
  ...     print(i)
  ...
  Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
  TypeError: 'int' object is not iterable
  >>>
  # int整型不是iterable,即int整型不是可以迭代的

  # 我们自定义一个容器MyList用来存放数据,可以通过add方法向其中添加数据
  >>> class MyList(object):
  ...     def __init__(self):
  ...             self.container = []
  ...     def add(self, item):
  ...             self.container.append(item)
  ...
  >>> mylist = MyList()
  >>> mylist.add(1)
  >>> mylist.add(2)
  >>> mylist.add(3)
  >>> for num in mylist:
  ...     print(num)
  ...
  Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
  TypeError: 'MyList' object is not iterable
  >>>
  # MyList容器的对象也是不能迭代的

  我们自定义了一个容器类型MyList,在将一个存放了多个数据的MyList对象放到for...in...的语句中,发现for...in...并不能从中依次取出一条数据返回给我们,也就是说我们随便封装了一个

可以存放多条数据的类型却并不能被迭代使用

  我们把可以通过for...in...这类语句迭代读取一条数据供我们使用的对象称之为可迭代对象

 

  2.如何判断一个对象是否可以迭代

    可以使用isinstance()判断一个对象是否是Iterable对象  

  In [50]: from collections import Iterable

  In [51]: isinstance([], Iterable)
  Out[51]: True

  In [52]: isinstance({}, Iterable)
  Out[52]: True

  In [53]: isinstance('abc', Iterable)
  Out[53]: True

  In [54]: isinstance(mylist, Iterable)
  Out[54]: False

  In [55]: isinstance(100, Iterable)
  Out[55]: False

 

  3.可迭代对象的本质

    我们分析对可迭代对象进行迭代使用的过程,发现每次迭代一次(既在for...in...中每循环一次)都会返回对象中的下一条数据,一直向后读取数据直到迭代了所有数据后结束。

那么,在这个过程中就应该有一个‘人’去记录每次访问到了第几条数据,以便每次迭代都可以返回下一条数据。我们把这个能帮助我们进行数据迭代的‘人’称为迭代器(Iterator)

    可迭代对象的本质就是可以向我们提供一个这样的中间‘人’既迭代器帮助我们对其进行迭代遍历使用

    可迭代对象__iter__方法向我们提供一个迭代器,我们在迭代一个可迭代对象的时候,实际上就是先获取该对象提供的一个迭代器,然后通过这个迭代器来一次获取对象中的每一个数据

    那么也就是说,一个具备了__iter__方法的对象,就是一个可迭代对象 

  >>> class MyList(object):
  ...     def __init__(self):
  ...             self.container = []
  ...     def add(self, item):
  ...             self.container.append(item)
  ...     def __iter__(self):
  ...             """返回一个迭代器"""
  ...             # 我们暂时忽略如何构造一个迭代器对象
  ...             pass
  ...
  >>> mylist = MyList()
  >>> from collections import Iterable
  >>> isinstance(mylist, Iterable)
  True
  >>>
  # 这回测试发现添加了__iter__方法的mylist对象已经是一个可迭代对象了

  4.iter()函数与next()函数

    list、tuple等都是可迭代对象,我们可以通过iter()函数获取这些可迭代对象的迭代器。然后我们可以对获取到的迭代器不断使用next()函数来获取下一条数据。

iter()函数实际上就是调用了可迭代对象的__iter__方法  

  >>> li = [11, 22, 33, 44, 55]
  >>> li_iter = iter(li)
  >>> next(li_iter)
  11
  >>> next(li_iter)
  22
  >>> next(li_iter)
  33
  >>> next(li_iter)
  44
  >>> next(li_iter)
  55
  >>> next(li_iter)
  Traceback (most recent call last):
    File "<stdin>", line 1, in <module>
  StopIteration
  >>>

  注意,当我们已经迭代完最后一个数据之后,再次调用next()函数会抛出StopIteration的异常,来告诉我们所有数据都迭代完成,不用再执行next()函数了

 

  5、如何判断一个对象是否是迭代器

    可以使用isinstance()判断一个对象是否是Iterator  

  In [56]: from collections import Iterator

  In [57]: isinstance([], Iterator)
  Out[57]: False

  In [58]: isinstance(iter([]), Iterator)
  Out[58]: True

  In [59]: isinstance(iter("abc"), Iterator)
  Out[59]: True

  6.迭代器Iterator

    通过上面的分析,我们已经知道,迭代器是用来帮助我们记录每次迭代访问到的位置,我们对迭代器使用next()函数的时候,迭代器会向我们返回它所记录位置的下一个位置的数据。

实际上,在使用next()函数的时候,调用的就是迭代器对象的__next__方法(Python3中是对象的__next__方法,Python2中是对象的next()方法)。所以,我们要想构造一个迭代器,就是

实现它的__next__方法。但这还不够,python要求迭代器本身也是可迭代的,所以我们还要为迭代器实现__iter__方法,而__iter__方法要返回一个迭代其,迭代器自身正是一个迭代器,所以迭代

器的__iter__方法返回自身即可

    一个实现了__iter__方法和__next__方法的对象,就是迭代器

  class MyList(object):
      """自定义的一个可迭代对象"""
      def __init__(self):
          self.items = []

      def add(self, val):
          self.items.append(val)

      def __iter__(self):
          myiterator = MyIterator(self)
          return myiterator


  class MyIterator(object):
      """自定义的供上面可迭代对象使用的一个迭代器"""
      def __init__(self, mylist):
          self.mylist = mylist
          # current用来记录当前访问到的位置
          self.current = 0

      def __next__(self):
          if self.current < len(self.mylist.items):
              item = self.mylist.items[self.current]
              self.current += 1
              return item
          else:
              raise StopIteration

      def __iter__(self):
          return self


  if __name__ == '__main__':
      mylist = MyList()
      mylist.add(1)
      mylist.add(2)
      mylist.add(3)
      mylist.add(4)
      mylist.add(5)
      for num in mylist:
          print(num)

  8.迭代器的应用场景

    我们发现迭代器最核心的功能就是可以通过next()函数的调用返回下一个数据值。如果每次返回的数据值不是在一个已有的数据集合中读取的,而是

通过程序按照一定的规律计算生成的,那么也就意味着可以不用在依赖一个已有的数据集合,也就是说不用再将所有要迭代的数据都一次性缓存下来供后续依次

读取,这样可以节省大量的存储(内存)空间

    几个例子,比如,数据中有个著名的斐波拉契数列(Fibonacci),数列中第一个数为0,第二个数为1,其后的每一个数都可由前两个数相加得到

    0,1,1,2,3,5,8,13,21,34

    现在我们想要通过for...in...循环来遍历迭代斐波拉契数列中的前n个数。那么这个斐波拉契数列我们就可以用迭代器来实现,每次迭代都通过属性计算来

生成下一个数

  class FibIterator(object):
      """斐波那契数列迭代器"""
      def __init__(self, n):
          """
          :param n: int, 指明生成数列的前n个数
          """
          self.n = n
          # current用来保存当前生成到数列中的第几个数了
          self.current = 0
          # num1用来保存前前一个数,初始值为数列中的第一个数0
          self.num1 = 0
          # num2用来保存前一个数,初始值为数列中的第二个数1
          self.num2 = 1

      def __next__(self):
          """被next()函数调用来获取下一个数"""
          if self.current < self.n:
              num = self.num1
              self.num1, self.num2 = self.num2, self.num1+self.num2
              self.current += 1
              return num
          else:
              raise StopIteration

      def __iter__(self):
          """迭代器的__iter__返回自身即可"""
          return self


  if __name__ == '__main__':
      fib = FibIterator(10)
      for num in fib:
          print(num, end=" ")

 

9.并不是只有for循环能接收可迭代对象

  除了for循环能接收可迭代对象,list、tuple等也能接收 

  li = list(FibIterator(15))
  print(li)
  tp = tuple(FibIterator(6))
  print(tp)

 

 二、生成器

  1.生成器

    利用迭代器,我们可以在每次迭代获取数据(通过next()方法)时按照特定都规律进行生成。但是我们在实现一个迭代器时,关于当前迭代到的状态需要我们自己记录,进而才能根据当前状态

生成下一个数据。为了达到记录当前状态,并配合next()函数进行迭代使用,我们可以采用更简便的语法,既生成器(generator)。生成器是一类特殊的迭代器

  2.创建生成器方法1

    要创建一个生成器,有很多种方法。第一种方法很简单,只要把一个列表生成器的【】改成()   

  In [15]: L = [ x*2 for x in range(5)]

  In [16]: L
  Out[16]: [0, 2, 4, 6, 8]

  In [17]: G = ( x*2 for x in range(5))

  In [18]: G
  Out[18]: <generator object <genexpr> at 0x7f626c132db0>

  In [19]:

  创建L和G的区别仅在于最外层的【】和(),L是一个列表,而G是一个生成器。我们可以直接打印出列表L的每一个元素,而对于生成器G,我们可以按照迭代器的使用方法来使用

,既可以通过next()函数、for循环、list等方法使用

  In [19]: next(G)
  Out[19]: 0

  In [20]: next(G)
  Out[20]: 2

  In [21]: next(G)
  Out[21]: 4

  In [22]: next(G)
  Out[22]: 6

  In [23]: next(G)
  Out[23]: 8

  In [24]: next(G)
  ---------------------------------------------------------------------------
  StopIteration                             Traceback (most recent call last)
  <ipython-input-24-380e167d6934> in <module>()
  ----> 1 next(G)

  StopIteration:

  In [25]:  
  In [26]: G = ( x*2 for x in range(5))

  In [27]: for x in G:
     ....:     print(x)
     ....:     
  0
  2
  4
  6
  8

  In [28]:

  3.创建生成器方法2

    generator非常强大,如果推算的算法比较复杂,用蕾丝列表生成式的for循环无法实现的时候,还可以用函数来实现

    我们依然用上一节提到的斐波拉契数列来举例,回想我们在上一节用迭代器的实现方式

  class FibIterator(object):
      """斐波那契数列迭代器"""
      def __init__(self, n):
          """
          :param n: int, 指明生成数列的前n个数
          """
          self.n = n
          # current用来保存当前生成到数列中的第几个数了
          self.current = 0
          # num1用来保存前前一个数,初始值为数列中的第一个数0
          self.num1 = 0
          # num2用来保存前一个数,初始值为数列中的第二个数1
          self.num2 = 1

      def __next__(self):
          """被next()函数调用来获取下一个数"""
          if self.current < self.n:
              num = self.num1
              self.num1, self.num2 = self.num2, self.num1+self.num2
              self.current += 1
              return num
          else:
              raise StopIteration

      def __iter__(self):
          """迭代器的__iter__返回自身即可"""
          return self

  注意,在用迭代器实现的方式中,我们要借助几个变量(n、current、num1、num2)来保存迭代的状态。现在我们用生成器来实  In [30]: def fib(n):     ....: current = 0

     ....:     num1, num2 = 0, 1
     ....:     while current < n:
     ....:         num = num1
     ....:         num1, num2 = num2, num1+num2
     ....:         current += 1
     ....:         yield num
     ....:     return 'done'
     ....:

  In [31]: F = fib(5)

  In [32]: next(F)
  Out[32]: 1

  In [33]: next(F)
  Out[33]: 1

  In [34]: next(F)
  Out[34]: 2

  In [35]: next(F)
  Out[35]: 3

  In [36]: next(F)
  Out[36]: 5

  In [37]: next(F)
  ---------------------------------------------------------------------------
  StopIteration                             Traceback (most recent call last)
  <ipython-input-37-8c2b02b4361a> in <module>()
  ----> 1 next(F)

  StopIteration: done

  在使用生成器实现的方式中,我们将原本在迭代器__next__方法中实现的基本逻辑放到一个函数中来实现,但是将每次迭代返回数值的return换成了yield,此时新定义的函数便不再是函数,而是一个生成器了。简单来说

:只要在def中有yield关键字的就称为生成器

  

未完待续。。。

 

 

posted @ 2019-11-21 22:19  frank__wang  阅读(79)  评论(0)    收藏  举报