day10-协程

一、协程

协程：用户态轻量级线程，串行，无需锁

协程拥有自己的寄存器上下文和栈，能保留上一次调用时的状态，线程的上下文保存在cpu的寄存器中

CPU识别线程但不识别协程，协程由用户自己控制

好处：

无需线程上下文切换的开销

无需原子操作（不会被线程调度机制打断）锁定及同步的开销

方便切换控制流，简化编程模型

并发+高扩展性+低成本：一个CPU可支持上万协程，适合用于高并发处理

缺点：

无法利用多核资源：协程本质是单线程，不能同时将 单个CPU 的多个核用上，协程需要和进程配合才能运行在多CPU上

进行阻塞（Blocking）操作（如IO时）会阻塞掉整个程序

二、协程切换

# ------------------------------------------------------
# greenlet实现手动切换
from greenlet import greenlet

def test1():
    print(12)
    # 切换
    gr2.switch()
    print(34)
    gr2.switch()

def test2():
    print(56)
    gr1.switch()
    print(78)

# 启动协程
gr1 = greenlet(test1)
gr2 = greenlet(test2)
gr1.switch()

# ------------------------------------------------------
# 协程遇到IO操作进行切换
import gevent

def foo():
    print("Running in foo")
    # 模仿io操作，一遇到io操作就切换
    gevent.sleep(2)
    print("Explicit context switch to foo again")

def bar():
    print("Explicit context to bar")
    gevent.sleep(1)
    print("Implicit context switch back to bar")

def fun3():
    print("running fun3")
    # 虽然是0秒，但是会触发一次切换
    gevent.sleep(0)
    print("running fun3 again")

gevent.joinall([
    # 生成协程
    gevent.spawn(foo),
    gevent.spawn(bar),
    gevent.spawn(fun3)
])

三、协程爬网页

import urllib2
import time
import gevent

def f(url):
    print("GET:{0}".format(url))
    resp = urllib2.urlopen(urllib2.Request(url))
    # 读取爬到的数据
    data = resp.read()
    with open("url.html", "wb") as f:
        f.write(data)
    print('{0} bytes received from {1}'.format(len(data), url))

# ----------------------------------------------------------------------
# 串行爬网页
urls = [
    'http://www.163.com/',
    'https://www.yahoo.com/',
    'https://github.com/'
]
time_start = time.time()
for url in urls:
    f(url)
print("cost: ", time.time()-time_start)

# -------------------------------------------------------------------------
# 协程爬网页
# gevent检测不到urllib和socket的IO操作，通过gevent调用时会阻塞，等于串行
# 打monkey补丁可解决上述问题
from gevent import monkey

# 把当前程序的所有的io操作单独做标记
monkey.patch_all()
async_time_start = time.time()
gevent.joinall([
    # 用gevent启动协程
    gevent.spawn(f, 'http://www.163.com/'),
    gevent.spawn(f, 'https://www.yahoo.com/'),
    gevent.spawn(f, 'https://github.com/'),
])
print("async cost: ", time.time()-async_time_start)