摘要:mysql的存储引擎 三种存储方式 InnoDB (默认) 一个文件存储表结构,一个存储数据和目录(索引) memory 一个文件存储数据结构,数据存储在内存(差的快,早期都是这种存储方式,现在有redis了) MyIsam 一个文件表结构,一个存储数据,还有一个放目录(索引) 数据库中数据的存储方 阅读全文
posted @ 2020-04-28 18:41 zz洲神在此 阅读(90) 评论(0) 推荐(0) 编辑
摘要:一、变量与对象 关系图如下: 1、变量,通过变量指针引用对象 变量指针指向具体对象的内存空间,取对象的值。 2、对象,类型已知,每个对象都包含一个头部信息(头部信息:类型标识符和引用计数器) 注意 变量名没有类型,类型属于对象(因为变量引用对象,所以类型随对象),变量引用什么类型的对象,变量就是什么 阅读全文
posted @ 2020-04-17 14:27 zz洲神在此 阅读(58) 评论(0) 推荐(0) 编辑
摘要:哈希表(散列表) 一、概述 根据设定的 哈希函数H(key) 和 处理冲突的方法 将一组关键字影像到一个有限的连续的地址集(区间)上,并以关键字在地址集中的“像”作为记录在表中的存储位置,这种表便成为 哈希表 ,这一映像过程称为哈希造表或 散列 ,所得存储位置称 哈希地址 或 散列地址 。 上面所提 阅读全文
posted @ 2020-04-15 23:34 zz洲神在此 阅读(52) 评论(0) 推荐(0) 编辑
摘要:一.封装 把很多数据封装到⼀个对象中. 把固定功能的代码封装到⼀个代码块, 函数, 对象, 打包成模块. 这都属于封装的思想. 具体的情况具体分析. 比如. 你写了⼀个很⽜B的函数. 那这个也可以被称为封装. 在⾯向对象思想中. 是把⼀些看似⽆关紧要的内容组合到⼀起统⼀进⾏存储和使⽤. 这就是封装. 阅读全文
posted @ 2020-04-15 18:11 zz洲神在此 阅读(88) 评论(0) 推荐(0) 编辑
摘要:一 什么是面向对象的继承 比较官方的说法就是: 继承(英语:inheritance)是面向对象软件技术当中的一个概念。如果一个类别A“继承自”另一个类别B,就把这个A称为“B的子类别”,而把B称为“A的父类别”也可以称“B是A的超类”。继承可以使得子类别具有父类别的各种属性和方法,而不需要再次编写相 阅读全文
posted @ 2020-04-15 17:24 zz洲神在此 阅读(75) 评论(0) 推荐(0) 编辑
摘要:一.Python 类的空间问题 1.1 何处可以添加对象属性 总结:对象的属性不仅可以在__init__里面添加,还可以在类的其他方法或者类的外面添加。 1.2 何处可以添加类的静态属性 总结:类的属性不仅可以在类内部添加,还可以在类的外部添加。 1.3 对象如何找到类的属性 之前咱们都学习过,实例 阅读全文
posted @ 2020-04-15 17:09 zz洲神在此 阅读(73) 评论(0) 推荐(0) 编辑
摘要:一.面向过程与函数式编程 1.1 面向过程编程vs函数式编程 在没了解面向对象之前,写的代码都是面向过程式编程 在我们学习函数后就是在面向函数编程 通过对比可知:函数编程较之面向过程编程最明显的两个特点: 1,减少重复的代码。 2,增强代码的可读性。 二.面向对象初识 2.1 函数式编程vs面向对象 阅读全文
posted @ 2020-04-15 16:56 zz洲神在此 阅读(47) 评论(0) 推荐(0) 编辑
摘要:增量式爬取 概念:监控网站数据更新的情况,以便于爬取到最新更新出来的数据。 实现核心:去重 实战中去重的方式:记录表 记录表需要记录什么?记录的一定是爬取过的相关信息。 爬取过的相关信息:例如每一步电影的详情页的url 只需要使某一组数据,改组数据可以作为该部电影的唯一标识即可,刚好电影详情页的ur 阅读全文
posted @ 2020-04-13 23:26 zz洲神在此 阅读(61) 评论(0) 推荐(0) 编辑
摘要:分布式爬虫 实现方式:scrapy+redis(scrapy结合这scrapy redis组件) 原生的scrapy框架是无法实现分布式 需要搭建一个分布式的机群,让后让机群中的每一台电脑执行同一组程序,让其对同一组资源 进行联合且分布的数据爬取。 为什么原生的scrapy框架无法实现分布式 1.调 阅读全文
posted @ 2020-04-13 23:24 zz洲神在此 阅读(87) 评论(0) 推荐(0) 编辑
摘要:crawlscrapy 其实他是Spider的一个子类,Spider爬虫文件中爬虫类的父类 子类的功能一定是多余父类的 作用:被用作与专业实现全站数据爬取 将一个页面下所有页面对应的数据进行爬取 基本使用: 1.创建一个工程 2.cd 工程 3.创建一个基于CrawlSpider的爬虫文件 scra 阅读全文
posted @ 2020-04-13 23:17 zz洲神在此 阅读(86) 评论(0) 推荐(0) 编辑