摘要:使用协程构建高性能爬虫 一、简介 在执行一些 IO 密集型任务的时候,程序常常会因为等待 IO 而阻塞。比如在网络爬虫中,如果我们使用 requests 库来进行请求的话,如果网站响应速度过慢,程序一直在等待网站响应,最后导致其爬取效率是非常非常低的。为了解决这类问题,本文就来探讨一下 Python 阅读全文
posted @ 2019-10-13 19:20 ZivLi 阅读(301) 评论(0) 推荐(0) 编辑
摘要:以梨视频为例分析页面请求抓取网页数据。本次抓取梨视频生活分类页面下的部分视频数据,并保存到本地。 一、分析网页 打开抓取网页,查看网页代码结构,发现网页结构里面存放视频的地址并不是真正的视频地址。 进入视频详情页面查看后,可以在response中找到真正的视频地址。保存这个地址的并不是标签,而是一个 阅读全文
posted @ 2019-09-30 20:34 ZivLi 阅读(533) 评论(0) 推荐(0) 编辑
摘要:数据结构——链表 一.简介 二.Python实现 ♦链表节点 ♦单向链表 ♦添加节点 头插法:从链表的头部(左端)插入 尾插法:从链表的尾部(右端)插入 ♦插入节点 ♦删除节点 ♦修改节点 ♦获取节点 ♦遍历链表 ♦反转链表 ♦双向链表 ♦双链表节点删除 ♦双链表节点插入 1 class Node: 阅读全文
posted @ 2019-09-21 14:50 ZivLi 阅读(162) 评论(0) 推荐(0) 编辑
摘要:一.Django中的请求 Django Web中从一个http请求发起,到获得响应返回html页面的流程大致如下: http请求发起 经过中间件 http handling(request解析) url mapping(url匹配找到对应的View) 在View中进行逻辑(包括调用Model类进行数 阅读全文
posted @ 2019-09-16 16:49 ZivLi 阅读(3408) 评论(0) 推荐(0) 编辑
摘要:一.Celery简介 Celery是一个简单,灵活,可靠的分布式系统,用于处理大量消息,同时为操作提供维护此类系统所需的工具。它是一个任务队列,专注于实时处理,同时还支持任务调度。 中间人boker: broker是一个消息传输的中间件。每当应用程序调用celery的异步任务的时候,会向broker 阅读全文
posted @ 2019-09-12 10:13 ZivLi 阅读(1417) 评论(0) 推荐(0) 编辑
摘要:单例模式 单例模式(Singleton Pattern)属于创建型模式,它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类,该类负责创建自己的对象,同时确保只有单个对象被创建,并提供一种访问其唯一对象的方式。 特点: 1.单例类只能有一个实例 2.单利类必须自己创建自己的唯一实例 3.单例类 阅读全文
posted @ 2019-09-01 16:21 ZivLi 阅读(144) 评论(0) 推荐(0) 编辑
摘要:观察者模式 内容:定义对象间的一种一对多的依赖关系,当一个对象的状态发生改变时, 所有依赖于它的对象都得到通知并被自动更新。观察者模式又称“发布-订阅”模式。 角色: 抽象主题(Subject) 具体主题(ConcreteSubject)——发布者 抽象观察者(Observer) 具体观察者(Con 阅读全文
posted @ 2019-08-30 14:27 ZivLi 阅读(116) 评论(0) 推荐(0) 编辑
摘要:二叉树 简介: 二叉树是每个结点最多有两个子树的树结构。通常子树被称作“左子树”(left subtree)和“右子树”(right subtree)。 二叉树二叉树的链式存储: 将二叉树的节点定义为一个对象,节点之间通过类似链表的链接方式来连接。 节点定义: 二叉树的遍历: 二叉树的遍历方式: 前 阅读全文
posted @ 2019-08-18 18:06 ZivLi 阅读(1892) 评论(0) 推荐(0) 编辑
摘要:抽象工厂模式 内容:定义一个工厂类接口,让工厂子类来创建一系列相关或相互依赖的对象。 例:生产一部手机,需要手机壳、CPU、操作系统三类对象进行组装,其中每类对象都有不同的种类。对每个具体工厂,分别生产一部手机所需要的三个对象。 相比工厂方法模式,抽象工厂模式中的每个具体工厂都生产一套产品。 角色: 阅读全文
posted @ 2019-08-10 23:15 ZivLi 阅读(381) 评论(0) 推荐(0) 编辑
摘要:队列的概念 只允许在一端插入数据操作,在另一端进行删除数据操作的特殊线性表;进行插入操作的一端称为队尾(入队列),进行删除操作的一端称为队头(出队列);队列具有先进先出(FIFO)的特性。 阅读全文
posted @ 2019-08-04 21:02 ZivLi 阅读(260) 评论(0) 推荐(0) 编辑