摘要: 练习一 练习二 练习三 阅读全文
posted @ 2018-04-02 20:35 一只小小的寄居蟹 阅读(804) 评论(0) 推荐(0)
摘要: Python爬虫目录 Pycharm 连接Linux 远程开发 mongodb在windows下安装启动 爬虫抓包工具Fiddle设置 爬虫抓包工具Charles设置 爬虫工具fiddle在firefox浏览器中的使用 python urllib和urllib3包使用 requests库使用 bea 阅读全文
posted @ 2018-04-02 17:40 一只小小的寄居蟹 阅读(750) 评论(0) 推荐(0)
摘要: 线程 线程被称作轻量级进程。与进程类似,不过它们是在同一个进程下执行的。 并且它们会共享相同的上下文。每一个进程中至少有一个线程。 顾名思义,线程就是一条流水线工作的过程,一条流水线必须属于一个车间,一个车间的工作过程是一个进程 所以,进程只是用来把资源集中到一起(进程只是一个资源单位,或者说资源集 阅读全文
posted @ 2018-04-02 11:00 一只小小的寄居蟹 阅读(333) 评论(0) 推荐(0)
摘要: Python并发目录 Python-socket网络编程 Python网络编程-IO阻塞与非阻塞及多路复用 Python进程-理论 Python进程-实现 Python进程间通信 Python进程池 Python线程 Python协程 注意点 python编程中的if __name__ == 'ma 阅读全文
posted @ 2018-04-01 00:17 一只小小的寄居蟹 阅读(394) 评论(0) 推荐(0)
摘要: 前言 问题:普通套接字实现的服务端的缺陷 一次只能服务一个客户端! accept阻塞! 在没有新的套接字来之前,不能处理已经建立连接的套接字的请求 recv 阻塞! 在没有接受到客户端请求数据之前,不能与其他客户端建立连接 IO阻塞与非阻塞 阻塞IO模型 阻塞IO(blocking IO)的特点:就 阅读全文
posted @ 2018-03-31 18:08 一只小小的寄居蟹 阅读(5918) 评论(0) 推荐(2)
摘要: 前言 一个完整的计算机系统是由硬件、操作系统、应用软件三者组成,具备了这三个条件,一台计算机系统就可以自己跟自己玩了(打个单机游戏,玩个扫雷啥的) 如果你要跟别人一起玩,那你就需要上网了,什么是互联网? 互联网的核心就是由一堆协议组成,协议就是标准,比如全世界人通信的标准是英语,如果把计算机比作人, 阅读全文
posted @ 2018-03-31 17:00 一只小小的寄居蟹 阅读(1151) 评论(0) 推荐(0)
摘要: Python Socket请求网站获取数据 阻塞 I/O ->收快递,快递如果不到,就干不了其他的活 非阻塞I/0 ->收快递,不断的去问,有没有送到,有没有送到,...如果送到了就接收 I/O多路复用 ->找个代理人(select), 去收快递。快递到了,就通知用户. 一 . 阻塞方式 block 阅读全文
posted @ 2018-03-30 00:48 一只小小的寄居蟹 阅读(7095) 评论(0) 推荐(2)
摘要: 前言 什么是单线程下的并发,即只用一个主线程(很明显可利用的cpu只有一个)情况下实现并发。这样就可以节省创建线进程所消耗的时间。 并发的本质:切换+保存状态 yield本身就是一种在单线程下可以保存任务运行状态的方法,我们来简单复习一下: yiled可以保存状态,yield的状态保存与操作系统的保 阅读全文
posted @ 2018-03-29 11:23 一只小小的寄居蟹 阅读(494) 评论(0) 推荐(0)
摘要: 进程池 为什么要有进程池?进程池的概念。 在程序实际处理问题过程中,忙时会有成千上万的任务需要被执行,闲时可能只有零星任务。那么在成千上万个任务需要被执行的时候,我们就需要去创建成千上万个进程么?首先,创建进程需要消耗时间,销毁进程也需要消耗时间。第二即便开启了成千上万的进程,操作系统也不能让他们同 阅读全文
posted @ 2018-03-29 10:23 一只小小的寄居蟹 阅读(1127) 评论(0) 推荐(0)
摘要: 通信方式 进程彼此之间互相隔离,要实现进程间通信(IPC),multiprocessing模块主要通过队列方式 队列:队列类似于一条管道,元素先进先出 需要注意的一点是:队列都是在内存中操作,进程退出,队列清空,另外,队列也是一个阻塞的形态 Queue介绍: 创建队列的类(底层就是以管道和锁定的方式 阅读全文
posted @ 2018-03-27 00:51 一只小小的寄居蟹 阅读(4441) 评论(0) 推荐(0)