摘要：
前言 GitBook是一个基于Node.js的命令行工具，可使用Git和Markdown来编写文档，赞誉太多，不再赘述。 Node.js 1. 下载安装包 2. 解压安装包 3. 安装 安装过程分为3步：移动安装包解压目录至/user/local、为node、npm建立软链接，以及删除安装包。 Gi 阅读全文
2020年2月21日
2020年2月20日
摘要：
[TOC] 前言 习惯的力量是很强大的。记得刚开始那会儿使用Markdown的时候各种变扭，可是输出的文档格式真心很整洁啊！时间一长，看着自己精心编写的文档复制粘贴到公司Wiki变成“扭曲”的形态，内心真是一忍再忍。最近几天一直在研究提升工作效率的事情，技术文档是其中很重要的一项，琢磨着自己动手吧， 阅读全文
2020年2月12日
摘要：
背景 最近Hadoop集群的小量节点偶尔会因“/var/cache/logwatch”目录战胜空间过大（约3 5 GB左右），引发磁盘报警；最早开始是春节假期期间出现的，一开始的时候没太当回事儿，认为是个例，随手清除了事；后面有其它机器也不定时的会出现类似情况，觉得有问题，安排团队的一个小朋友跟进排 阅读全文
2019年9月25日
摘要：
OLAP（On Line Analytical Processing，联机分析处理）是大数据场景中，数据价值探索与挖掘的重要环节。这个领域内，开源社区呈现百花齐放的现象，Elasticsearch、Druid、Clickhouse、Pinot、Kylin、Presto等，各自在业界都有着广泛的应用场 阅读全文
2018年5月8日
摘要：
近期困惑于团队成员代码风格迥异，代码质量不可控，作为一名老司机，忧患于后期服务的可维护性，多次一对一的代码Review，耗时耗力不说，效果也不明显。痛定思痛，多次反思之后得出结论：无规矩不成方圆，可靠的服务必须建立在统一的代码风格基础之上，仅仅提倡是远远不够的，必须使用有效的可执行机制，确保最终效果 阅读全文
2017年5月21日
摘要：
近期困惑于Git代码版本控制，集中两天时间研究，其中基础知识来源于《Git权威指南》，分支思想则来源于一篇博文《A successful Git branching model》（作者：Vincent Driessen，原文链接：http://nvie.com/posts/a successful 阅读全文
2016年7月18日
摘要：
1. 背景 “应用程序运行于Hadoop Yarn之上”的需求来源于微博运维数据平台中的调度系统，即调度系统中的任务需要运行于Hadoop Yarn之上。这里的应用程序可以简单理解为一个普通的进程（这里特指Java进程），调度系统中的任务执行实际也是一个进程的运行过程，这里我们不讨论为什么调度系统中 阅读全文
2016年6月29日
摘要：
1. 背景 Block Replica Placement——数据块复本存储策略，HDFS Namenode以此为依据选取数据块复本应存储至哪些HDFS Datanodes，策略的设计需要权衡以下三个因素： 可靠性 写带宽 读带宽 注：本文均以数据块复本因子为3来讨论。 我们以两个比较极端的例子来说 阅读全文
2016年6月26日
摘要：
本文系微博运维数据平台（DIP）在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用，主要关注以下几个问题： 异构资源如何整合？ 实时计算应用之间的物理资源如何隔离？ 集群资源利用率如何提高？ 集群运维成本如何降低？ 1. 背景 这是我们初期的一个实时计算架构，大致划分为三个部分： （1） 阅读全文
2016年6月21日
摘要：
本文系微博运维数据平台（DIP）在Flume方面的优化扩展经验总结，在使用Flume FileChannel的场景下将吞吐率由10M/s~20M/s提升至80M/s~90M/s，分为四个部分进行介绍： 应用场景 Flume实例架构 Flume调试及优化扩展 Flume Todo 生产环境部署 1. 阅读全文