要让事情改变,先改变自己;要让事情变得更好,先让自己变得更强。 ------ joker1034
摘要: 元数据 数据字典 数据字典描述的是数据的结构信息 数据血缘 数据血缘是指一个表是直接通过哪些表加工而来 数据特征 而数据特征主要是指数据的属性信息,比如储存空间,访问热度,主题域 业界元数据中心产品 开源的有Netflix的Metacat、Apache Atlas; 商业化的产品有Cloudera 阅读全文
posted @ 2020-11-10 16:53 joker1034 阅读(1222) 评论(0) 推荐(0) 编辑
摘要: MySQL高级特性 分区表 对用户来说,分区表是一个独立的逻辑表,但是底层由多个物理子表组成。实现分区的代码实际上是对一组底层表的句柄对象(HandlerObject)的封装。 MySQL实现分区表的方式——对底层表的封装——意味着索引也是按照分区的子表定义的,而没有全局索引。 在下面的场景中,分区 阅读全文
posted @ 2020-10-26 00:04 joker1034 阅读(315) 评论(0) 推荐(0) 编辑
摘要: 查询性能优化 为什么查询速度会慢 如果把查询看作是一个任务,那么它由一系列子任务组成,每个子任务都会消耗一定的时间。如果要优化查询,实际上要优化其子任务,要么消除其中一些子任务,要么减少子任务的执行次数,要么让子任务运行得更快。 慢查询基础:优化数据访问 查询性能低下最基本的原因是访问的数据太多.对 阅读全文
posted @ 2020-10-23 19:43 joker1034 阅读(170) 评论(0) 推荐(0) 编辑
摘要: 创建高性能的索引 索引(在MySQL中也叫做“键(key)”)是存储引擎用于快速找到记录的一种数据结构。 索引的优点 1. 索引大大减少了服务器需要扫描的数据量。 2. 索引可以帮助服务器避免排序和临时表。 3. 索引可以将随机I/O变为顺序I/O。 总的来说,只有当索引帮助存储引擎快速查找到记录带 阅读全文
posted @ 2020-10-22 18:11 joker1034 阅读(129) 评论(0) 推荐(0) 编辑
摘要: Schema与数据类型优化 更小的通常更好 一般情况下,应该尽量使用可以正确存储数据的最小数据类型 。更小的数据类型通常更快,因为它们占用更少的磁盘、内存和CPU缓存,并且处理时需要的CPU周期也更少。 简单就好 简单数据类型的操作通常需要更少的CPU周期。例如,整型比字符操作代价更低,因为字符集和 阅读全文
posted @ 2020-10-22 15:56 joker1034 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 服务器性能剖析 性能优化简介 数据库服务器的性能用查询的响应时间来度量,单位是每个查询花费的时间。 完成一项任务所需要的时间可以分成两部分:执行时间和等待时间。如果要优化任务的执行时间,最好的办法是通过测量定位不同的子任务花费的时间,然后优化去掉一些子任务、降低子任务的执行频率或者提升子任务的效率。 阅读全文
posted @ 2020-10-22 11:57 joker1034 阅读(172) 评论(0) 推荐(0) 编辑
摘要: MySQL基准测试 基准测试的作用 验证基于系统的一些假设。 重现系统中的某些异常行为。 测试系统当前的运行情况。 如果不清楚系统当前的性能,就无法确认某些优化的效果如何。也可以利用历史的基准测试结果来分析诊断一些无法预测的问题。 模拟比当前系统更高的负载。 规划未来的业务增长。 基准测试可以评估在 阅读全文
posted @ 2020-10-21 17:37 joker1034 阅读(178) 评论(0) 推荐(0) 编辑
摘要: MySQL逻辑架构 最上层的服务并不是MySQL所独有的,大多数基于网络的客户端/服务器的工具或者服务都有类似的架构。比如连接处理、授权认证、安全等等。 第二层包括查询解析、分析、优化、缓存以及所有的内置函数(例如,日期、时间、数学和加密函数),所有跨存储引擎的功能都在这一层实现:存储过程、触发器、 阅读全文
posted @ 2020-10-20 18:39 joker1034 阅读(537) 评论(0) 推荐(0) 编辑
摘要: 共享锁(Shared lock) 例1: T1: select * from table (请想象它需要执行1个小时之久,后面的sql语句请都这么想象) T2: update table set column1='hello' 过程:T1运行 (加共享锁) T2运行等待T1运行完之后再运行T2 分析 阅读全文
posted @ 2020-04-14 10:25 joker1034 阅读(596) 评论(0) 推荐(0) 编辑
摘要: 这是我遇到的问题 然后就想这可能是mysql安全模式的问题,解决思路:首先改变mysql的安全模式及密码校验问题,进入mysql后在更改用户名密码。 1、首先将my.ini中加入在[mysqld]节点上加skip-grant-tables 也可能是my.cnf 主要作用是:跳过表中的验证,可以无密码 阅读全文
posted @ 2019-08-30 12:07 joker1034 阅读(7913) 评论(0) 推荐(0) 编辑

python开发&研究 - 创建于 2018年10月

这是一位python开发工程师的个人站,内容主要是python开发方面的技术文章,大部分来自学习或工作,部分来源于网络,希望对大家有所帮助。

致力于python开发&研究工作,专注python开发,关注互联网前沿技术与趋势。


Font Awesome | Respond.js | Bootstrap中文网