一笑之奈何

摘要： MapReduce接口 HBase提供了TableInputFormat、TableOutputFormat、TableMapper和TableReducer类来支持使用MapReduce框架处理HBase上的数据，并提供了TableMapReduceUtil类来初始化一个HBase-MapRedu 阅读全文

摘要： HDFS HDFS提供一套Java API来操作HDFS，包括文件的建立、修改、删除、权限管理等，下面对几个常用的API进行介绍，详细的API接口请参见API文档，可以在${HADOOP_HOME}/share/doc/api/index.html中找到。 IOUtils类 Hadoop IO的基础 阅读全文

摘要： zabbixzenoss 阅读全文

摘要： 一、相关概念 基本回收算法 分代垃圾回收详述 如上图所示，为Java堆中的各代分布。 GC类型GC有两种类型：Scavenge GC和Full GC。 Tenured被写满 Perm域被写满 System.gc()被显示调用 上一次GC之后Heap的各域分配策略动态变化 分代垃圾回收过程演示 二、垃 阅读全文

摘要： 管理工具 HBase ShellHBase Shell是HBase组件提供的基于JRuby IRB的字符界面的交互式客户端程序，通过HBase Shell可以实现对HBase的绝大部分操作 通过help ["group-name"]命令，可以获取该组包含命令的详细使用说明 hbck工具hbck工具对 阅读全文

摘要： 常见问题 下面列举HDFS运行过程中可能出现的常见问题及解决方法，这些问题一般都会在日志中出现的相应的记录。Incompatible clusterIDs in … :namenode clusterID = … ,datanode clusterIDs =…出现该错误是由于NameNode重新格式 阅读全文

摘要： 一般需要有如下几个功能特性:* 用户接口: * Restfull API * Java SDK * JobScheduler Shell，一个命令工具，方便实现采集任务提交、查询和删除* 调度特性： * 支持多种调度规则，包括 * 即可调度 * 固定频率调度 * Cron表达式调度* 任务与平台无关 阅读全文

摘要： Spark源码分析： https://yq.aliyun.com/articles/28400?utm_campaign=wenzhang&utm_medium=article&utm_source=QQ-qun&utm_content=m_11999 Spark shuffle: http://b 阅读全文

摘要： ZooKeeper基本原理 数据模型 如上图所示，ZooKeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每个ZNode都可以通过其路径唯一标识，比如上图中第三层的第一个ZNode, 它的路径是/app1/c1。在每个ZNode上可存储少量数据( 阅读全文

摘要： IDEA打可运行jar http://bglmmz.iteye.com/blog/2058785 -jar参数运行应用时classpath的设置方法 你是否在使用java -jar参数运行打包好的jar应用程序的时候发现应用程序无法找到classpath下设置好的第三方类库的内容？无论怎么设置cla 阅读全文