2014 年 12月随笔档案 - 程序优化

摘要：目前实现的监控概览阅读全文

posted @ 2014-12-31 00:54 程序优化阅读(194) 评论(0) 推荐(0)

摘要：1.尽可能地了解需求，系统层面适用开闭原则2.模块化，低耦合，能快速响应变化，也可以避免一个子系统的问题波及整个大系统3.面向接口，业务数据的以接口服务方式开放出来，并尽量简单，避免依赖4.技术选型，选择能把握的成熟技术，前期充分测试，避免性能问题，多参考同类产品的架... 阅读全文

posted @ 2014-12-29 22:40 程序优化阅读(322) 评论(0) 推荐(0)

摘要：region分裂有2种触发情景：1是用户手动触发(参见HRegionServer的splitRegion方法)，2是后台flush线程flush完一个region的memstore时，会去检查这个region是否需要分裂(参见MemStoreFlushe的flushR... 阅读全文

posted @ 2014-12-28 20:26 程序优化阅读(820) 评论(0) 推荐(0)

摘要：zookeeper提供顺序一致性、原子性、统一视图、可靠性保证服务zookeeper使用的是zab(atomic broadcast protocol)协议而非paxos协议zookeeper能处理并发地处理多个客户端的写请求，并且以FIFO顺序commit这些写操作... 阅读全文

posted @ 2014-12-10 23:28 程序优化阅读(285) 评论(0) 推荐(0)

摘要：我们以前使用过的对hbase和hdfs进行健康检查，及剩余hdfs容量告警，简单易用1.针对hadoop2的脚本：#/bin/bashbin=`dirname $0`bin=`cd $bin;pwd`STATE_OK=0STATE_WARNING=1STATE_CRI... 阅读全文

posted @ 2014-12-10 10:57 程序优化阅读(326) 评论(0) 推荐(0)

摘要：背景 hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库，为及早... 阅读全文

posted @ 2014-12-07 23:50 程序优化阅读(610) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)