Pyhton中 IO密集型，计算密集型下的多进程，多线程

什么是CPU密集型计算、IO密集型计算与多进程、多线程、多协程

 

 1、什么是CPU密集型计算、IO密集型计算？
CPU密集型（CPU-bound）：

1 CPU密集型也叫计算密集型，是指I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率相当高
2 例如：压缩解压缩、加密解密、正则表达式搜索

 

IO密集型（I/O bound）:

1 IO密集型指的是系统运作大部分的状况是CPU在等I/O（硬盘/内存）的读写操作，CPU占用率任然较低。
2 例如：文件处理程序、网络爬虫程序、读写数据库程序

 

2、多进程、多线程、多协程的对比

1 多进程Process(multiprocess)
2 
3  - 优点：可以利用多核CPU并行运算
4  - 缺点：占用资源最多、可启动数目比线程少 
5  - 适用于：CPU密集型计算
1 多线程Thread(threading)
2 -优点：相比进程，更轻量级、占用资源少
3 -缺点：
4     ·相比进程：多线程只能并发执行，不能利用多CPU(GIL)
5     ·相比协程：启动数目有限制，占用内存资源，有线程切换开销
6 -适用于：IO密集型计算、同时运行的任务数目要求不多
1 多协程Coroutine(asynico)：
2 -优点：内存开销最少、启动协程数量最多
3 -缺点：支持的库有限制（aiohttp vs requests）、代码实现复杂
4 -适用于：IO密集型计算、需要超多任务运行、但有现成库的场景

3、怎样根据任务选择对应技术？

 

 

 

 

 

 

 

 

 

 

posted @ 2021-09-02 21:14  LionYie  阅读(228)  评论(0)    收藏  举报