随笔分类 -  Hadoop

关于YARN Node Labels的一点理解
摘要：最近在做实验，实验需要进行分区域计算，网上查了资料后发现Yarn Node Labels + Capacity-Scheduler可以实现我的需求 但是当任务提交到capacity-scheduler调度器的default队列时，任务卡在ACCEPTED阶段。 网上看了很多发现没有这方面的信息，最后 阅读全文
posted @ 2016-09-13 19:51 Xu Feng 阅读(9297) 评论(0) 推荐(0)
CentOS配置Hive
摘要：hive搭建共分为三种模式：1、embedded，2、local，3、remote server 在这里，主要是配置第3种模式：remote server模式，如下图所示： 我的环境共三台虚拟机：Host0,Host2，Host3 在remote server模式中，Host0：Hive-serve 阅读全文
posted @ 2016-09-11 23:10 Xu Feng 阅读(2249) 评论(0) 推荐(0)
CentOS中配置Kafka集群
摘要：环境：三台虚拟机Host0，Host1，Host2 Host0：192.168.10.2 Host1: 192.168.10.3 Host2: 192.168.10.4 在三台虚拟机上配置zookeeper，具体配置详见CentOS中配置CDH版本的ZooKeeper 下载kafka：http:// 阅读全文
posted @ 2016-09-05 14:06 Xu Feng 阅读(2495) 评论(0) 推荐(1)
CentOS中配置CDH版本的ZooKeeper
摘要：三台CentOS：Host0，Host1，Host2 在三台中分别安装zookeeper-server 修改zookeeper的配置文件（/etc/zookeeper/conf/zoo.cfg） 因为zookeeper集群共有3个节点，所以在配置文件中添加server.0，server.1，serv 阅读全文
posted @ 2016-09-03 13:01 Xu Feng 阅读(4534) 评论(0) 推荐(0)
关于Flume中Chanel.Selector.header解释
摘要：flume内置的ChannelSelector有两种，分别是Replicating和Multiplexing。 Replicating类型的ChannelSelector会针对每一个Event，拷贝到所有的Channel中，这是默认的ChannelSelector。 replicating类型的Ch 阅读全文
posted @ 2016-09-02 00:42 Xu Feng 阅读(4267) 评论(0) 推荐(0)
hadoop的NullWritable
摘要：NullWritable是Writable的一个特殊类，实现方法为空实现，不从数据流中读数据，也不写入数据，只充当占位符，如在MapReduce中，如果你不需要使用键或值，你就可以将键或值声明为NullWritable,NullWritable是一个不可变的单实例类型。 比如，我设置map的输出为< 阅读全文
posted @ 2016-08-28 17:33 Xu Feng 阅读(14463) 评论(0) 推荐(0)