吱吱吱 (piperck) XD

摘要： Kafka 真是一个异常稳定的组件，服务器上我们部署了 kafka_2.11-1.0.1 版本的 kafka 除了几次计算时间太长触发了 rebalance 以外，基本没有处理过什么奇怪的问题。 但是还是感觉 Kafka 的配置非常全面非常多，也非常容易把人搞懵逼。有时候看官方文档也就是一句话，经常 阅读全文

摘要： 表 1、重命名表重命名表的语句如下： 2、修改表属性： 3、修改表注释： 列 1、添加列 2、修改列 分区 1、增加分区 2、删除分区 Reference: https://www.jianshu.com/p/9088fe002e2a Hive 修改table、column 阅读全文

摘要： 一直在调研一个轻量级开源的 BI 系统。之前我们生产环境使用的 aliyun 的 QuickBi，也调研了另外一个 airflow 的开源商业智能 superset。不得不承认 QuickBI 正在日益完善变得好用，但是因其重量级，不灵活，支持数据源单一（比如普通版本只支持 自建 MySQL | R 阅读全文

摘要： 常用命令 使某服务自动启动 systemctl enable httpd.service 使某服务不自动启动 systemctl disable httpd.service 检查服务状态 systemctl status httpd.service （服务详细信息） systemctl is-act 阅读全文

摘要： 之前对 SQL 还是不是非常熟悉的，但是现在或多或少还是会写一些计算任务。比如最近在推送将所有天级的耗时任务都从传统关系型数据库迁移至 Spark 集群当中进行计算，中间遇到一些有趣的小问题在这里记录一下。 Q: 我想按照某个字段分组并且把一组查询字段连起来得到一个 json 然后把结果作为一个字段 阅读全文

摘要： 事故的起因是因为当我访问某个数据库的某个表的时候，MySQL 立即出现崩溃并且去查看 MySQL 的错误日志出现类似信息 可以注意到这里就是 MySQL innodb 的数据发生了损坏。可以看到日志的最下面其实这里就是给出的是可能造成崩溃的 query 这里我们可以看到是要因为对 desktop_d 阅读全文

摘要： 针对排序来说，order by 是我们使用非常频繁的关键字。结合之前我们对索引的了解再来看这篇文章会让我们深刻理解在排序的时候，是如何利用索引来达到少扫描表或者使用外部排序的。 先定义一个表辅助我们后面理解 这时我们写一条查询语句 根据上面的表定义来看，city=xxx 可以使用到我们定义的一个索引 阅读全文

摘要： 开始今天读书笔记之前我觉得需要回顾一下当我们在更新一条数据的时候做了什么。 因为 WAL 技术的存在，所以当我们执行一条更新语句的时候是先写日志，后写磁盘的。当我们在内存中写入了 redolog 之后，就返回已经更新成功了。后续通过其他的手段将数据写回到磁盘上。 当内存数据也跟磁盘数据页不一致的时候 阅读全文

摘要： 通常我们在做这个选择的时候，考虑得最多的应该是如果我们需要让 Database MySQL 来帮助我们从数据库层面过滤掉对应字段的重复数据我们会选择唯一索引，如果没有前者的需求，一般都会使用普通索引。这篇文章将会站在性能的角度来分析一下两者的区别对性能的影响。 这里还是用一张之前分析索引用到的图。 阅读全文

摘要： 这篇我觉得有点难度，我会更慢的更详细的分析一些 case 。 MySQL 的默认事务隔离级别和其他几个主流数据库隔离级别不同，他的事务隔离级别是 RR(REPEATABLE-READ) 其他的主流数据库比如 oracle 通常是 RC(READ-COMMITTED) 关于数据库有哪些隔离级别我这里就 阅读全文