随笔分类 - Python高级编程和异步io高级编程
摘要：1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # asyncio爬虫、去重、入库 4 5 import asyncio 6 import re 7 8 import aiohttp 9 import aiomysql 10 from pyquery import PyQuery 11 from aiohttp import TCPConnec
阅读全文
摘要：1 import asyncio 2 from asyncio import Lock, Queue 3 cache = {} 4 lock = Lock() 5 6 7 async def get_stuff(url): 8 # lock.acquire()是一个协程 9 # await lock
阅读全文
摘要：task是future的一个子类，task是协程和future之间的桥梁 task启动协程，保持和线程池的接口一致
阅读全文
摘要：1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # asyncio 没有提供http协议的接口 4 import asyncio 5 import time 6 from urllib.parse import urlparse 7 8 9 async def get_url(url): 10 url = url...
阅读全文
摘要：1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 # 使用多线程：在协程中集成阻塞io 4 import asyncio 5 import socket 6 import time 7 from urllib.parse import urlparse 8 from concurrent.futures import ThreadPoolExec
阅读全文
摘要：call_soon，即刻执行 call_later，指定时间之后再运行，执行的顺序和指定的时间有关，cal_soon比call_later优先执行 call_at，也是指定时间之后再执行，但是这个时间时loop里面的时间
阅读全文
摘要：python3.5之后，才引入了原生协程的语法
阅读全文
摘要：yield from最主要的用法 yield from 处理了StopIteration的异常 yield from 其他用法
阅读全文
摘要：1.send方法 2.close方法 3.throw方法
阅读全文
摘要：协程--可以暂停的函数（可以向暂停的地方传入值） 协程，又称微线程，纤程。英文名Coroutine。 协程的概念很早就提出来了，但直到最近几年才在某些语言（如Lua）中得到广泛应用。 子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返
阅读全文
摘要：IO多路复用（select、poll、epoll）介绍及select、epoll的实现 IO多路复用中包括 select、pool、epoll，这些都属于同步，还不属于异步 一、IO多路复用介绍 1、select select最早于1983年出现在4.2BSD中，它通过一个select()系统调用来
阅读全文
摘要：使用回调函数的缺点： 1.可读性差 2.共享状态管理困难 3.异常处理困难
阅读全文
摘要：C10K问题是一个在1999年被提出来的计数挑战： 如何在一颗1GHz CPU，2G内存、1gbps网络环境下，让单台服务器同时为1万个客户端提供FTP服务 Unix下五种I/O模式 1.阻塞式io（阻塞不会消耗cpu） 2.非阻塞式io 3.io复用 4.信号驱动式io 5.异步io epoll并
阅读全文
摘要：并发和并行： 并发是指一个时间段内,有几个程序在同一个cpu上运行，但是任意时刻只有一个程序在cpu上运行。 并行是指在任意时刻点上，有多个程序同时运行在多个cpu上（并行的数量个cpu的数量有关），cpu是有限的，高并行不太现实。 同步和异步： 同步是指代码调用io操作时，必须等待io操作完成才返
阅读全文
摘要：利用Queue，这个Queue不是queue里面的 共享全局变量不能适用于多进程编程，只能用于多线程编程 multiprocessing里面的Queue不能用于pool进程池，但是multiprocessing里面有一个Manager pool中的进程间通信用manager中的Queue pipe
阅读全文
摘要：imap imap_unordered
阅读全文
摘要：对于耗费cpu的操作，例如计算。多进程优于多线程 对于io操作，多线程优于多进程
阅读全文
摘要：as_completed map wait
阅读全文
浙公网安备 33010602011771号