程序优化 - 博客园

摘要： 1.尽可能地了解需求，系统层面适用开闭原则2.模块化，低耦合，能快速响应变化，也可以避免一个子系统的问题波及整个大系统3.面向接口，业务数据的以接口服务方式开放出来，并尽量简单，避免依赖4.技术选型，选择能把握的成熟技术，前期充分测试，避免性能问题，多参考同类产品的架... 阅读全文

posted @ 2014-12-29 22:40 程序优化阅读(318) 评论(0) 推荐(0)

摘要： region分裂有2种触发情景：1是用户手动触发(参见HRegionServer的splitRegion方法)，2是后台flush线程flush完一个region的memstore时，会去检查这个region是否需要分裂(参见MemStoreFlushe的flushR... 阅读全文

posted @ 2014-12-28 20:26 程序优化阅读(815) 评论(0) 推荐(0)

摘要： zookeeper提供顺序一致性、原子性、统一视图、可靠性保证服务zookeeper使用的是zab(atomic broadcast protocol)协议而非paxos协议zookeeper能处理并发地处理多个客户端的写请求，并且以FIFO顺序commit这些写操作... 阅读全文

posted @ 2014-12-10 23:28 程序优化阅读(283) 评论(0) 推荐(0)

摘要：我们以前使用过的对hbase和hdfs进行健康检查，及剩余hdfs容量告警，简单易用1.针对hadoop2的脚本：#/bin/bashbin=`dirname $0`bin=`cd $bin;pwd`STATE_OK=0STATE_WARNING=1STATE_CRI... 阅读全文

posted @ 2014-12-10 10:57 程序优化阅读(321) 评论(0) 推荐(0)

摘要：背景 hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库，为及早... 阅读全文

posted @ 2014-12-07 23:50 程序优化阅读(607) 评论(0) 推荐(0)

摘要： TCP洪水攻击（SYN Flood）的诊断和处理Posted by 海涛 on 2013 年 7 月 11 日Tweet11. SYN Flood介绍前段时间网站被攻击多次，其中最猛烈的就是TCP洪水攻击，即SYN Flood。SYN Flood是当前最流行的DoS... 阅读全文

posted @ 2014-03-20 17:48 程序优化阅读(905) 评论(0) 推荐(0)

摘要： tcpdump是一个用于截取网络分组，并输出分组内容的工具，简单说就是数据包抓包工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为Linux系统下用于网络分析和问题排查的首选工具。tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对... 阅读全文

posted @ 2014-03-20 16:47 程序优化阅读(954) 评论(0) 推荐(0)

摘要： Maatkit是不错的mysql管理工具，已经成为Percona的一部分。包含以下主要工具：1、mk-table-checksum 检查主从表是否一致的有效工具2、mk-table-sync 有效保证表一致的工具，不必重载从表而能够保证一致。3、mk-visual-e... 阅读全文

posted @ 2014-02-12 22:38 程序优化阅读(298) 评论(0) 推荐(0)

摘要： 1.部署本章节主要讲述如何部署ZooKeeper，包括以下三部分的内容：系统环境集群模式的配置单机模式的配置系统环境和集群模式配置这两节内容大体讲述了如何部署一个能够用于生产环境的ZK集群。如果仅仅是想在单机上将ZK运行起来，进行一些开发与测试，那么第三部分或许是你的... 阅读全文

posted @ 2014-02-12 18:34 程序优化阅读(355) 评论(0) 推荐(0)

摘要：原文链接：https://blogs.apache.org/flume/entry/apache_flume_filechannel说明：翻译在尽量符合原文表达的基础上，尽量保证行文流畅。水平有限，请多指正！这篇文章是关于Flume FileChannel的。Flum... 阅读全文

posted @ 2014-02-10 18:50 程序优化阅读(364) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)