08 2016 档案

Hadoop-MR[会用]MR程序的运行模式
摘要：1.简介 现在很少用到使用MR计算框架来实现功能，通常的做法是使用hive等工具辅助完成。但是对于其底层MR的原理还是有必要做一些了解。 2.MR客户端程序实现套路 这一小节总结归纳编写mr客户端程序的一般流程和套路。将以wordcount为例子进行理解。 运行一个mr程序有三种模式，分别为：本地模 阅读全文

posted @ 2016-08-18 17:07 xf-xrh-xf 阅读(4067) 评论(0) 推荐(0)

[hadoop][基本原理]zookeeper场景使用
摘要：代码：https://github.com/xufeng79x/ZkClientTest 1. 简介 zookeeper的特性决定他适用到某些场景非常合适，比如典型的应用场景： 1.集群管理（Group Membership） 2.统一命名服务（Name Service） 3.配置管理（Config 阅读全文

posted @ 2016-08-04 17:18 xf-xrh-xf 阅读(513) 评论(0) 推荐(0)

[hadoop][会装]HBase集群安装--基于hadoop ha模式
摘要：可以参考部署HBase系统（分布式部署） 和基于无HA模式的hadoop下部署相比，主要是修改hbase-site .xml文件，修改如下参数即可： 其他并无差别。 阅读全文

posted @ 2016-08-04 00:14 xf-xrh-xf 阅读(210) 评论(0) 推荐(0)

[hadoop][基本原理]zookeeper简单使用
摘要：代码：https://github.com/xufeng79x/ZkClientTest 1、简介 zookeeper的基本原理和使用场景描述可参考：[hadoop][基本原理]zookeeper基本原理 本文主要讲解zookeeper节点的增删除改查，以及watcher的使用。 2.工程准备 除 阅读全文

posted @ 2016-08-03 23:40 xf-xrh-xf 阅读(782) 评论(0) 推荐(0)

[hadoop][基本原理]zookeeper基本原理
摘要：1.简介 https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 2. 数据模型 Zookeeper 会维护一个具有层次关系的数据结构，它非常类似于一个标准的文件系统，如图所示： Zookeeper 这种数据结构有如下这些特 阅读全文

posted @ 2016-08-01 14:11 xf-xrh-xf 阅读(2054) 评论(0) 推荐(0)

导航