摘要: 同步IO和异步IO,阻塞IO和非阻塞IO分别是什么,到底有什么区别?以前听到这些名词很模糊,今天理了一下。 操作系统分用户空间与内核空间。32位操作系统而言,它的寻址空间(虚拟存储空间)为4G(2的32次方)。 linux操作系统而言,内核空间:最高的1G字节... 阅读全文
posted @ 2020-04-06 19:39 jasmineTang 阅读(57) 评论(0) 推荐(0)
摘要: 当SOCKET遇到GEVENT,就可以实现SOCKET的高并发了。 服务器端: import sysimport socketimport timeimport geventfrom gevent import socket, monkeymonke... 阅读全文
posted @ 2020-04-06 15:11 jasmineTang 阅读(128) 评论(0) 推荐(0)
摘要: 爬虫有很多现成的第三方库。如果自己用Gevent写一个要注意一点:gevent 检测不到 urllib的IO操作 所以不会进行切换,始终会串行的。那如果让gevnet知道urllib的IO操作呢?需要加入 monkey 好可爱的名字是不是。 1.加入MONKE... 阅读全文
posted @ 2020-04-06 11:42 jasmineTang 阅读(135) 评论(0) 推荐(0)
摘要: 协程:实现单线程下的高并发。 例如web高并发服务器,Nginx,nodejs,其实都是单线程,而如何实现上万的高并发呢,用的就是协程。 个人理解,协程快就是无论你启动了几个函数,整个程序的运行时长=最长的那个函数时长 geven... 阅读全文
posted @ 2020-04-06 11:34 jasmineTang 阅读(94) 评论(0) 推荐(0)