3Days

With语句以及@contextmanager的语法解析

with 语句以及@contextmanager的语法解析

 

with语句可以通过很简单的方式来替try/finally语句。 with语句中EXPR部分必须是一个包含__enter__()和__exit__()方法的对象，也就是Context Manager。使用with语句的目的：

  • 提供可靠的资源自动释放，在with代码执行前请求资源，代码运行结束后资源会释放。
  • 简化代码，代码可读性以及逻辑的简明都会提高很多。
  • 创造临时的上下文环境，例如做一个临时的网络请求并获取返回值作为上下文环境。
  • 通过contextmanager和generator创造线程操作异步所。

下述例子描述with...as语句的实现原理：

In [15]:
 
 
#EXPR open('var/log/test.log)
EXPR = open('/var/log/test.log')
with EXPR as VAR:
    #BLOCK START
    data = VAR.read(50)
    print data
    #BLOCK END
 
 
 
test1
test2
test3
test4
test5
 

实现原理:

  1. 在with语句中, EXPR必须是一个包含__enter__()和__exit__()方法的对象(Context Manager)。
  2. 调用EXPR的__enter__()方法申请资源并将结果赋值给VAR变量。
  3. 通过try/except确保代码块BLOCK正确调用，否则调用EXPR的__exit__()方法退出并释放资源。
  4. 在代码块BLOCK正确执行后，最终执行EXPR的__exit__()方法释放资源。
In [16]:
 
 
import sys
EXPR = open('/var/log/test.log')
EXIT = type(EXPR).__exit__ #not calling it yet
VAR = type(EXPR).__enter__(EXPR)
EXC = True
try:
    try:
        #BLOCK START
        data = VAR.read(50)
        print data
        #BLOCK END
    except:
        EXC = False
        if not EXIT(EXPR, *sys.exc_info()):
            raise
finally:
    if EXC:
        EXIT(EXPR, None, None, None)
 
 
 
test1
test2
test3
test4
test5
 

EXPR可以使用with语句的前提，必须是一个包含__enter__()和__exit()__方法的对象(Context Manager)，最直接的方式是声明一个对象，在__enter__()方法里面申请资源，在__exit__()方法里面释放资源；EXPR返回此对象。

更通用和更高效的将普通的函数转变为包含__enter__()和__exit__()方法的对象的方法是：通过一个特定的decorator(@contextmanager)扩展该函数并将函数声明为非循环的单一返回值的generator。

 

generator可以将函数变成类似于iterator，每次调用好像通过iterator的next逐步读取，而不是一次返回。

  • 比实现一个iterator简单，iterator需要实现__init__,__iter__,__next__函数。
  • 比将结果一次返回（全部读取到内存中）要节省内存，通过next可以逐步获取需要的值。
 

@contextmanagerdecorator的实现原理：

  1. 声明contextmanager的decorator函数。参数是generator，返回值是一个接受和generator函数同样参数并且将generaor函数和参数传递到Context Manager构造函数并返回Context Manager对象的函数。绕死了！！！

    decorator函数，是接受函数作为参数，并且返回一个函数的的函数。当对函数func进行此修饰时相当于对func进行一次转变： func = decorator(func)，在这里generator被修饰后变成了help(*args, **kwargs)函数

  2. 在__enter__()方法中使用generator的next()方法获取第一个返回值。如果gen并不是generator函数，抛出一个runtime异常。

  3. 在__exit__()方法中，如果存在异常将异常跑出，否则继续调用generator的next()方法。因此generator是一个具有唯一值非loop的generator因此会抛出stopiteration异常（正常预期值），否则抛出一个runtime异常。
In [24]:
 
 
 class GeneratorContextManager(object):
​
    def __init__(self, gen):
        self.gen = gen
​
    def __enter__(self):
        try:
            return self.gen.next()
        except StopIteration:
            raise RuntimeError("generator didn't yield")
​
    def __exit__(self, type, value, traceback):
        if type is None:
            try:
                self.gen.next()
            except StopIteration:
                return
            else:
                raise RuntimeError("generator didn't stop")
        else:
            try:
                self.gen.throw(type, value, traceback)
                raise RuntimeError("generator didn't stop after throw()")
            except StopIteration:
                return True
            except:
                # only re-raise if it's *not* the exception that was
                # passed to throw(), because __exit__() must not raise
                # an exception unless __exit__() itself failed.  But
                # throw() has to raise the exception to signal
                # propagation, so this fixes the impedance mismatch 
                # between the throw() protocol and the __exit__()
                # protocol.
                #
                if sys.exc_info()[1] is not value:
                    raise
​
def contextmanager(func):
    def helper(*args, **kwds):
        return GeneratorContextManager(func(*args, **kwds))
    return helper
 
 
 

上述并没有涉及到资源的申请和释放，因此在generator函数里面，第一个loop即__enter__()函数调用时，进行资源的申请，第二个loop也就是__exit__()函数调用时抛出异常进入finally模块释放资源。下面是应用示例：

In [25]:
 
 
@contextmanager
def opening(filename):
    f = open(filename) # IOError is untouched by GeneratorContext
    try:
        yield f
    finally:
        f.close() # Ditto for errors here (however unlikely)
 
 
 

如上所述，就是with语句以及contextmanager decorator修饰器的语法解析。标准库里有些对象已经是context manager了，例如：

    - file
    - thread.LockType
    - threading.Lock
    - threading.RLock
    - threading.Condition
    - threading.Semaphore
    - threading.BoundedSemaphore

另外我们也可以通过contextlib.contextmanager来修饰我们的generator函数，作为context manager使用在with语句中。

posted on 2016-03-02 18:38  3Days  阅读(1596)  评论(0)  编辑  收藏  举报

导航