摘要：
一、关于MHA MHA（Master HA）是一款开源的MySQL的高可用程序，它为MySQL主从复制架构提供了automating master failover 功能。MHA在监控到master节点故障时，会提升其中拥有最新数据的slave节点成为新的master节点，在此期间，MHA会通过与其 阅读全文
摘要：
1、介绍 Atlas 是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接 阅读全文
摘要：
1、从单机数据库说起（Mysql、Oracle、PostgreSQL） 关系型数据库起源自1970年代，其最基本的功能有两个： 把数据存下来； 满足用户对数据的计算需求。 第一点是最基本的要求，如果一个数据库没办法把数据安全完整存下来，那么后续的任何功能都没有意义。当满足第一点后，用户紧接着就会要求 阅读全文
摘要：
一、小米 1、背景 小米关系型存储数据库首选 MySQL，单机 2.6T 磁盘。由于小米手机销量的快速上升和 MIUI 负一屏用户量的快速增加，导致负一屏快递业务数据的数据量增长非常快， 每天的读写量级均分别达到上亿级别，数据快速增长导致单机出现瓶颈，比如性能明显下降、可用存储空间不断降低、大表 D 阅读全文
摘要：
0、TIDB优势 1、和MySql相比，具备OLAP能力。省去了很多数据仓库搭建成本和学习成本。这在业务层是非常受欢迎的。可以在其他分库分表业务中，通过 syncer 同步，进行合并，然后进行统计分析2、数据量增长极快的OLTP场景，这些数据库的数据在一年内轻松达到数百亿量级。TiDB 的所有特性都 阅读全文
摘要：
一 TiDb简介 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和NoSQL 的最佳特性。TiDB 阅读全文
摘要：
Tair是淘宝的一个开源项目，它是一个分布式的key/value结构数据的解决方案。 一、基本组成 作为一个分布式系统，Tair由一个中心控制节点（config server）和一系列的服务节点（data server）组成， 1、config server config server 负责管理所有 阅读全文
摘要：
一、背景 每周统计接口耗时，发现耗时较长的前几个接口tp5个9都超过了1000ms。 经过分析慢查询的原因是ES查询耗时太长导致的 二、设计方案 1、问题定位 查询功能使用不当导致慢查询 索引设计存在不合理的地方，导致慢查询 2、方案概述 2.1、查询Fetch Source优化 问题 问题 业务查 阅读全文
摘要：
方案一、反向代理负载均衡 常用的nginx。位于网络7层之上的http层，针对http应用做一些分流的策略。 nginx单台机器可以承受2w到3w的并发量。 任何一台服务器都有一个极限，一旦访问量到了这个点，性能会急剧恶化。最大并发5W，实际上可能3-4W就会引发性能恶化，然后拖着到极限，最后宕机。 阅读全文
摘要：
PS：Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，参考了一些资料，结合自己的一些使用经验，总结一下。 一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于100 阅读全文
摘要：
背景 线上服务收到报警，报警内容：虚拟机swap区占用比例超过80%，如图： 本文着重描述排查问题的过程，在这个过程中不断的猜测–>验证–>推翻–>再猜测–>再验证–>再推翻，这个过程更有意思; swap是什么 潜意识中，当进程需要申请内存而机器内存不够时，需要将一部分不常用的进程、数据换出到swa 阅读全文
摘要：
近期遇到一个堆外内存导致swap飙高的问题，这类问题比较罕见，因此将整个排查过程记录下来了 现象描述 最近1周线上服务器时不时出现swap报警（swap超过内存10%时触发报警，内存是4G，因此swap超过400M会触发报警），每次都是童鞋们通过重启tomcat解决的；但导致的根本原因是什么呢？必须 阅读全文
摘要：
一、现象 1、系统稳定运行，偶尔发生响应超时的情况。查看下游依赖服务和数据库状态都良好。超时完全是由于服务本身问题造成的。重启不能解决问题，一直会间隔性的发生超时 二、原因分析 第一种情况，系统内存够用(JVM内存未使用到SWAP内存)，但JVM内存不够，最终导致JVM的频繁垃圾回收（FGC），严重 阅读全文
摘要：
1、定义 索引是一种数据结果，帮助提高获取数据的速度 为了提高查找速度，有很多查询优化算法。但是每种查找算法都只能应用于特定数据结构之上。 索引就是数据库创建的满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据 2、索引数据结构 目前大部分数据库系统及文件系统都采用B Tree或其变 阅读全文
摘要：
一、知识科普 1、消炎药和抗生素的区别 1.1、区别 抗生素是一种抗菌药物。常吃身体对药物有抵药性。 消炎药是可以消除人体炎症的药物。消炎药是同时具有止痛，解热和抗肿瘤作用的药物。目前市场上有很多种消炎药，包括我们常吃常见的布洛芬，阿司匹林，对乙酰氨基酚，芬必利，萘普生和流感，酮洛芬等，这些药物都是 阅读全文
摘要：
问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d 阅读全文
摘要：
半朴素贝叶斯分类器 朴素贝叶斯采用了“属性条件独立性假设”，但这个假设的确是有些草率了。因为往往属性之间包含着各种依赖。于是，人们尝试对这个假设进行一定程度的放松，由此产生了“半朴素贝叶斯分类器”（semi-naive Bayes classifiers）的学习方法。 半朴素贝叶斯分类器的基本想法是 阅读全文
摘要：
上一篇文章极大似然估计的应用已经说明了，后验概率的求解难点在于类条件概率的估计非常难。 p(x | w)中的x往往包含多个相关因素（是一个多种因素构成的向量），即它可能有多个需要考虑的属性值：x=(x1,x2,x3,...,xn)。 任一xi都代表了所有相关因素中的其中一个。在癌症辅助判断中 阅读全文
摘要：
一、贝叶斯决策 首先来看贝叶斯分类，我们都知道经典的贝叶斯公式： 其中：p(w)：为先验概率，表示每种类别分布的概率；p(x | w)为类条件概率，表示在某种类别前提下，某事发生的概率；p(w | x)为后验概率，表示某事发生了，并且它属于某一类别的概率，有了这个后验概率，我们就可以对样本进行分类。 阅读全文
摘要：
参考知乎上的解释。解答的非常明白易懂。https://www.zhihu.com/question/27670909 大致内容： 1、解答了先验概率和后验概率的概念。后验概率更加的准确，大部分机器学习模型尝试得到的也是后验概率 2、贝叶斯公式的推导 3、贝叶斯公式用于后验概率的求解。转换之后，后验概 阅读全文