南歌先生

摘要： "TOC" 一、为什么要做分库分表 在数据爆炸的年代，单表数据达到千万级别，甚至过亿的量，都是很常见的情景。这时候再对数据库进行操作就是非常吃力的事情了，select个半天都出不来数据，这时候业务已经难以维系。不得已，分库分表提上日程，我们的目的很简单， 减小数据库的压力，缩短表的操作时间 。 二、 阅读全文

摘要： [TOC] Scrapy爬虫框架入门 1.Scrapy概述 Scrapy是Python开发的一个非常流行的网络爬虫框架，可以用来抓取Web站点并从页面中提取结构化的数据，被广泛的用于数据挖掘、数据监测和自动化测试等领域。下图展示了Scrapy的基本架构，其中包含了主要组件和系统的数据处理流程（图中带 阅读全文

摘要： mysql逻辑分层: 1.client == 连接层 == 服务层== 引擎层== 存储层 server 2.连接层: 提供与客户端连接的服务 3.服务层: 1.提供各种用户使用的接口(增删改查),sql解析 sql的解析过程比如: from ... on ... where ... group b 阅读全文

摘要： [TOC] Mataplotlib 1. 绘制统计图形 2. 读取图片保存图片以及图片显示 Seaborn 1.辅助的库，可以被 pyplot 控制 2.辅助绘制更多的图形，更加好看，功能更加强大 3.添加了调色板 4.set_style: white (默认),dark,darkgrid,tick 阅读全文

摘要： [TOC] 1.排序的基本概念和分类 所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。排序算法，就是如何使得记录按照要求排列的方法。 排序的稳定性： 经过某种排序后，如果两个记录序号同等，且两者在原无序记录中的先后秩序依然保持不变，则称所使用的排序方法是稳定的 阅读全文

摘要： [TOC] 前言 mysql的并发操作时而引起的数据的不一致性（数据冲突）： 丢失更新：两个用户（或以上）对同一个数据对象操作引起的数据丢失。 解决方案：1.悲观锁，假设丢失更新一定存在；sql后面加上for update；这是数据库的一种机制。 2.乐观锁，假设丢失更新不一定发生。update时候 阅读全文

摘要： [TOC] 1.软件的生命周期 软件生命周期是指软件从开始研制到最终被废弃所经历的各个阶段。在不同的阶段里，由不同1的组织和人员执行不同的任务，需要消耗不同的资源。 生命周期常见的有：瀑布模型、V模型、敏捷开发模型。 阶段： 需求分析 软件设计 程序编码 软件测试 运行维护 2.如何知道一个pyth 阅读全文

摘要： Django之钩子Hook方法 局部钩子： 在Fom类中定义 clean_字段名() 方法，就能够实现对特定字段进行校验。（校验函数正常必须返回当前字段值） def clean_name(self): pass name = self.cleaned_data.get('name') if name 阅读全文

摘要： [TOC] Django多对多关系 1.创建方式一全自动 好处：至始至终你都没有操作第三张表 全部都是由orm自动帮你创建的 字段内置了四个操作第三张表的方法 不足:自动创建的第三张表无法扩展个修改字段 表的扩展性较差 2.创建方式二纯手撸 好处：第三张表中字段个数和字段名称全都可以自己定义 不足： 阅读全文

摘要： [TOC] 迭代器 迭代器介绍 迭代是Python最强大的功能之一，是访问集合元素的一种方式。 迭代器是一个可以记住遍历的位置的对象。 迭代器对象从集合的第一个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。 迭代器有两个基本的方法： 和 。 字符串，列表或元组对象都可用于创建迭代 阅读全文