摘要：
基础部分 1. 为什么学习Python 2. 通过什么途径学习Python 3. 谈谈对Python和其他语言的区别 4. Python的优势 5. python语言的缺点 6. 简述解释型和编译型编程语言 7. Python的解释器种类以及相关特点？ 8. 位和字节的关系 9. b、B、KB、MB 阅读全文
posted @ 2019-02-19 00:54
羊驼之歌
阅读(413)
评论(0)
推荐(0)
摘要：
Python 面向对象高阶 metaclass 前言 类也是对象，既然类是对象，那就自然是某个东西的实例化，这个东西就是type 首先看下type是怎么回事 type type最常用的方法就是查看类型，这只是他的基础用法罢了 type 通过传入其他参数也可以实现类的创建 普通方式创建类： 继承关系的 阅读全文
posted @ 2019-02-13 14:03
羊驼之歌
阅读(287)
评论(0)
推荐(0)
摘要：
Python操作Redis 安装 链接方式 简单连接 redis-py提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。 连接池 阅读全文
posted @ 2019-02-12 05:42
羊驼之歌
阅读(505)
评论(0)
推荐(0)
摘要：
安装 linxu安装 方式一：硬盘免安装 启动服务端 启动客户端 方式二：安装包 方式三：rpm安装 公司说你安装以下redis 有两种情况： 1、直接给你rpm包 2、或者说你直接yum install redis - 安装公司自定制 - 安装官方 远程操作rdis的模块（模块的本质是通过sock 阅读全文
posted @ 2019-02-11 08:13
羊驼之歌
阅读(241)
评论(0)
推荐(0)
摘要：
websocket 概念 是一套协议，协议规定了： - 连接时需要握手 - 发送数据进行加密 - 连接之后不断开 意义 实现长轮询等操作 框架支持 - flask，gevent-websocket - django，channel - torando框架自带 应用场景 实时响应页面时，可以使用web 阅读全文
posted @ 2019-02-11 07:28
羊驼之歌
阅读(1095)
评论(0)
推荐(0)
摘要：
高性能相关 如何实现多个任务的同时进行 而且还效率高 串行实现 效率最低最不可取 多线程 多线程存在线程利用率不高的问题 协程+IO切换 gevent内部调用greenlet（实现了协程） 基于协程比线程更加省资源 事件循环 基于事件循环的异步非阻塞模块：Twisted 阅读全文
posted @ 2019-02-11 06:52
羊驼之歌
阅读(214)
评论(0)
推荐(0)
摘要：
分布式爬虫 概念 所谓分布式, 多个程序同时对一个任务进行操作 一分多的高效率的任务进行方式 简单说明 一个 10GB 的爬虫任务, 交给10台服务器进行同时爬取 对比单服务器无论怎么优化都是 10倍的效率, 但是成本高 需要硬件环境支持 ( 带宽, 服务器设备等 ) 多态主机共享一个爬取队列即为分 阅读全文
posted @ 2019-02-11 06:40
羊驼之歌
阅读(498)
评论(0)
推荐(0)
摘要：
配置文件 基本配置 并发与延迟 智能限速/自动节流 介绍 设置目标 1、比使用默认的下载延迟对站点更好 2、自动调整scrapy到最佳的爬取速度，所以用户无需自己调整下载延迟到最佳状态。用户只需要定义允许最大并发的请求，剩下的事情由该扩展组件自动完成 如何实现 在Scrapy中，下载延迟是通过计算建 阅读全文
posted @ 2019-02-10 03:22
羊驼之歌
阅读(454)
评论(0)
推荐(0)
摘要：
中间件 下载器中间件 写中间件 配置文件 执行顺序梳理 应用场景 - 随机 User-Agent 开源的组件 导入 配置文件中设置选择方式 根据配置文件中的选择方式设置模式 应用场景 - IP代理 写个脚本完成对 西刺代理IP的爬虫 并存入数据库 设置中间件来调用脚本设置代理 IP 爬虫中间件 写中 阅读全文
posted @ 2019-02-10 03:01
羊驼之歌
阅读(498)
评论(0)
推荐(0)
摘要：
持久化相关 相关文件 items.py 数据结构模板文件。定义数据属性。 pipelines.py 管道文件。接收数据（items），进行持久化操作。 持久化流程 ▨ 爬虫文件爬取到数据后，将数据封装到 items 对象 ▨ items.py 用 yield 关键字将 items对象 提交给 pip 阅读全文
posted @ 2019-02-10 02:10
羊驼之歌
阅读(205)
评论(0)
推荐(0)
浙公网安备 33010602011771号