随笔分类 -  Hadoop

CDH版本的
Kafka安装验证及其注意
摘要：一、Zookeeper 配置文件说明： # the directory where the snapshot is stored. dataDir=/tmp/zookeeper # the port at which the clients will connect clientPort=2181 阅读全文
posted @ 2017-01-18 15:54 joqk 阅读(810) 评论(0) 推荐(0)
hive导入数据
摘要：数据格式：0 36167989451 马六 男 吉林 1854 61 37652086059 万五 男 湖北 1854 82 91948962006 高二 女 云南 1854 83 33953116795 段六 男 河北 1854 34 79358017862 郝九 女 宁夏 1854 25 081... 阅读全文
posted @ 2014-09-19 15:12 joqk 阅读(291) 评论(0) 推荐(0)
状态机与状态机的设计
摘要：状态机就是状态转移图。关于状态机的一个极度确切的描述是它是一个有向图形，由一组节点和一组相应的转移函数组成。状态机通过响应一系列事件而“运行”。每个事件都在属于“当前” 节点的转移函数的控制范围内，其中函数的范围是节点的一个子集。函数返回“下一个”（也许是同一个）节点。这些节点中至少有一个必须是终态... 阅读全文
posted @ 2014-09-17 12:10 joqk 阅读(939) 评论(0) 推荐(0)
YARN应用程序的开发步骤
摘要：开发基于YARN的应用程序需要开发客户端程序和AppMaster程序：我们基于程序自带的例子来实现提交application 到YARN的ResourceManger。Distributed Shell application：Client 步骤：连接 ResourceManager；通过Appli... 阅读全文
posted @ 2014-09-12 18:35 joqk 阅读(1688) 评论(0) 推荐(0)
Yarn的服务库和事件库使用方法
摘要：事件类型定义：package org.apache.hadoop.event;public enum JobEventType { JOB_KILL, JOB_INIT, JOB_START}package org.apache.hadoop.event;p... 阅读全文
posted @ 2014-09-12 18:23 joqk 阅读(509) 评论(0) 推荐(0)
YARN的 AM与RM通信，申请资源分配过程
摘要：AppMaster向RM请求资源MRAppMaster :serviceinit // service to allocate containers from RM (if non-uber) or to fake it (uber) containerAllocator = creat... 阅读全文
posted @ 2014-09-11 14:31 joqk 阅读(3145) 评论(0) 推荐(0)
YARN-RPC
摘要：运行在YARN平台上面的RPC。当前存在非常多的开源RPC框架，比较著名的有Thrift、Protocol Buffers 和 AVRO。他们均有两部分构成：对象序列化和远程过程调用。重要类：YarnRPCHadoopYarnRPCRpcFactoryProvider。RpcClientFact... 阅读全文
posted @ 2014-09-10 15:49 joqk 阅读(461) 评论(0) 推荐(0)
Yarn的服务库和事件库
摘要：对于生命周期较长的对象，YARN采用了基于服务对象管理模型对其进行管理。 该模型有一下特点： 每个被服务化的对象都分为4个状态 任何服务状态变化都可以触发另外一些动作 可以通过组合方式对任意服务进行组合，以便统一管理。YARN中服务模型的类图（位于包：org.apahce.hado... 阅读全文
posted @ 2014-09-10 15:48 joqk 阅读(299) 评论(0) 推荐(0)
Hadoop的RPC框架介绍
摘要：为什么会引入RPC：RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS的，通信可能发生在：Client-NameNode之间，其中NameNode是服务器Client-DataNode之间，其中DataNode是服务器DataNode-NameNo... 阅读全文
posted @ 2014-09-09 17:45 joqk 阅读(2783) 评论(0) 推荐(0)
Java Api与HBase交互实例
摘要：import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbas... 阅读全文
posted @ 2014-09-04 17:11 joqk 阅读(262) 评论(0) 推荐(0)
Hbase的连接池--HTablePool被Deprecated之后
摘要：说明：最近两天在调研HBase的连接池，有了一些收获，特此记录下来。本文先将官方文档（http://hbase.apache.org/book.html）9.3.1.1节翻译，方便大家阅读，然后查阅了关键类HConnectionManager的Developer API（http://hbase.a... 阅读全文
posted @ 2014-09-04 15:16 joqk 阅读(3068) 评论(0) 推荐(0)
[开发]Win7环境下Eclipse连接Hadoop2.2.0
摘要：准备：确保hadoop2.2.0集群正常运行1.eclipse中建立mven工程，并编辑pom文件如下 org.apache.hbase hbase-client 0.96.2-hadoop2 ... 阅读全文
posted @ 2014-09-04 13:52 joqk 阅读(1495) 评论(1) 推荐(0)
hive的学习入门（飞进数据仓库的小蜜蜂）
摘要：前言hive是构建在Hadoop上的数据仓库平台，其设计目标是:使Hadoop上的数据操作与传统的SQL结合，让熟悉sql的开发人员能够轻松的像Hadoop平台迁移。Hive是Facebook的信息平台的重要组成部分，Facebook在2008年将其共献给Apache，现在Hive是Hadoop家族... 阅读全文
posted @ 2014-07-29 15:25 joqk 阅读(675) 评论(0) 推荐(0)
Hadoop发行版本介绍
摘要：前言从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概... 阅读全文
posted @ 2014-07-25 11:21 joqk 阅读(2253) 评论(0) 推荐(0)