摘要：
摘自网络 阅读全文
摘要：
Proxy式架构和客户端式架构的优劣 Proxy式架构 客户端式架构 优点 1， 集中式管理监控和升级维护方便 2， 解决连接数问题 1. 应用直连数据库性能高 2. 无需中间层集群，没有额外成本开销 劣势 1，... 阅读全文
摘要：
volatile关键字经常在并发编程中使用，其特性是保证可见性以及有序性，但是关于volatile的使用仍然要小心，这需要明白volatile关键字的特性及实现的原理，这也是本篇文章的主要内容一、Java内存模型想要理解volatile为什么能确保可见性，就要先理解J... 阅读全文
摘要：
生产环境（cdh5.5.1）遇到一个问题：已经设置 dfs.datanode.du.reserved预留空间为20G，但是磁盘仍然被写满了。当挂载磁盘作为datanode的存储空间，如果磁盘大小为2000G，使用df -h 显示：总磁盘大小2000G，使用1930G，... 阅读全文
摘要：
Apache Spark 内存管理详解Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，... 阅读全文
摘要：
今天发现一个线上kafka(版本为0.8.2.2)多天前已不再消费的topic标记为删除(marked for deletion)，而我们每天有定时删除topic的shell脚本，会把无用的topic干掉，但发现这些topic只是被标记为删除，而并没有真正删除，其... 阅读全文
摘要：
ntpd时钟同步服务目录参考：CentOS配置时间同步NTP: http://www.crsay.com/wiki/wiki.php/server/centos/ntp-set解决ntp的错误 no server suitable for synchronizatio... 阅读全文
摘要：
打算对新建的hadoop集群使用管理工具，列了以下主要的不同点： 主要的不同点 apache Ambari ClouderaManager Express(免费版) 配置版本控制和历史记录 支持 不支持 二次开发 支持 不支持 集成 支持 ... 阅读全文
摘要：
今天在网上找了很久，终于找到1个snappy压缩命令行，记录下来：1.wget https://bootstrap.pypa.io/get-pip.py2.python ./get-pip.py3.yum install gcc-c++4.pip install py... 阅读全文
摘要：
1、Client 向 YARN 提交应用程序，其中包括 ApplicationMaster 程序及启动 ApplicationMaster 命令2、ResourceManager 为该 ApplicationMaster 分配第一个 Container，并与对应的 N... 阅读全文