摘要： scala变长参数： 递归累加： scala异常的使用： array和arraybuffer的使用 定长array： arraybuff： 阅读全文

摘要： 当一个线程持有锁时，JVM会记录下的锁的持有者，并讲获取锁的的记录值为1，当线程再次获取这个锁就变为2.退出锁就会递减。 为什么要这种机制？ 如例子程序调用super.dosomething(); 永远无法获得父类加的锁。造成死锁public class Test_1 { public synchr 阅读全文

摘要： 今天群里面讨论，DDL 还是 DML，我这种小白还是总结下他们的区别吧。 1. DDL – Data Definition Language 数据库定义语言：定义数据库的结构。 其主要命令有CREATE，ALTER，DROP等，下面用例子详解。该语言不需要commit，因此慎重。 CREATE – 阅读全文

摘要： 1 ) 安装JDK并配置环境变量（/etc/profile） 2) 关闭防火墙 3) 配置hosts文件，方便hadoop通过主机名访问（/etc/hosts） 4) 设置ssh免密码登录 5) 解压缩hadoop安装包，并配置环境变量 6) 修改配置文件（ $HADOOP_HOME/conf ） 阅读全文

摘要： 公平调度是以pool为单位分配任务slots的，容量调度以queue的方式分配tasktracker的，当都只有一个job的时候，两种调度器都可以利用整个集群的资源，在每个pool内部可以是以FIFO方式调度也可以是公平方式调度，但是在queue内部只能是以FIFO方式调度，这是公平调度和容量调度的 阅读全文

摘要： 前言：在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。 1.如何控制实际运行的map任务个数 我们知道，文件在上传到Hdfs文件系统的时候，被切分成不同的Block块（默认大小为6 阅读全文

摘要： 转载▼ 转载▼ Hadoop中在计算一个JOB需要的map数之前首先要计算分片的大小。计算分片大小的公式是： goalSize = totalSize / mapred.map.tasks minSize = max {mapred.min.split.size, minSplitSize} spl 阅读全文

摘要： 图中1：表示待处理数据，比如日志，比如单词计数图中2：表示map阶段，对他们split，然后送到不同分区图中3：表示reduce阶段，对这些数据整合处理。图中4：表示二次mapreduce,这个是mapreduce的链式，详细可以看让你真正明白什么是MapReduce组合式，迭代式，链式 阅读全文

摘要： AutoFlush 通过调用HTable.setAutoFlushTo(false)方法可以将HTable写客户端自动flush关闭，这样可以批量写入数据到HBase，而不是有一条put就执行一次更新，只有当put填满客户端写缓存的时候，才会向HBase服务端发起写请求。默认情况下auto flus 阅读全文

摘要： Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapRedu 阅读全文