随笔分类 -  进程、线程、协成

摘要:一 HTTP概述 HTTP(hypertext transport protocol),即超文本传输协议。这个协议详细规定了浏览器和服务器之间互相通信的规则。 HTTP就是一个通信规则,通信规则规定了客户端发送给服务器的内容格式,也规定了服务器发送给客户端的内容格式。其实我们要学习的就是这个两个格式 阅读全文
posted @ 2018-03-18 11:05 飞天的鱼 阅读(318) 评论(0) 推荐(0)
摘要:阅读目录 一 背景知识 二 同步、异步、回调机制 三 高性能 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。 需要强调的是:对于单线程下串行N个任务,并不完全等 阅读全文
posted @ 2018-01-22 15:38 飞天的鱼 阅读(154) 评论(0) 推荐(0)
摘要:阅读目录 一 IO模型介绍 二 阻塞IO(blocking IO) 三 非阻塞IO(non-blocking IO) 四 多路复用IO(IO multiplexing) 五 异步IO(Asynchronous I/O) 六 IO模型比较分析 七 selectors模块 阅读目录 一 IO模型介绍 二 阅读全文
posted @ 2017-09-01 15:01 飞天的鱼 阅读(221) 评论(0) 推荐(0)
摘要:阅读目录 一 引子 二 协程介绍 三 Greenlet 四 Gevent介绍 五 Gevent之同步与异步 六 Gevent之应用举例一 七 Gevent之应用举例二 阅读目录 一 引子 二 协程介绍 三 Greenlet 四 Gevent介绍 五 Gevent之同步与异步 六 Gevent之应用举 阅读全文
posted @ 2017-08-31 15:36 飞天的鱼 阅读(432) 评论(0) 推荐(0)
摘要:阅读目录 一 threading模块介绍 二 开启线程的两种方式 三 在一个进程下开启多个线程与在一个进程下开启多个子进程的区别 四 练习 五 线程相关的其他方法 六 守护线程 七 Python GIL(Global Interpreter Lock) 八 同步锁 九 死锁现象与递归锁 十 信号量S 阅读全文
posted @ 2017-08-29 15:51 飞天的鱼 阅读(364) 评论(0) 推荐(0)
摘要:阅读目录 一 multiprocessing模块介绍 二 Process类的介绍 三 Process类的使用 四 守护进程 五 进程同步(锁) 六 队列(推荐使用) 七 管道 八 共享数据 九 信号量(了解) 十 事件(了解) 十一 进程池 阅读目录 一 multiprocessing模块介绍 二 阅读全文
posted @ 2017-08-29 15:28 飞天的鱼 阅读(140) 评论(0) 推荐(0)
摘要:为什么要有操作系统? 操作系统:操作系统是一个用来协调,管理和控制计算机硬件和软件资源的系统程序。位于底层硬件与应用软件之间 工作方式:向下管理硬件 向上提供接口 切换 1.出现IO时切换 2.固定时间切换 进程 定义: 进程就是一个程序在一个数据集上的一次动态执行过程。 组成: 进程一般由程序、数 阅读全文
posted @ 2017-08-28 15:54 飞天的鱼 阅读(297) 评论(0) 推荐(0)