随笔分类 -  大数据

大数据相关
hbase协处理器编码实例
摘要：Observer协处理器通常在一个特定的事件（诸如Get或Put）之前或之后发生，相当于RDBMS中的触发器。Endpoint协处理器则类似于RDBMS中的存储过程，因为它可以让你在RegionServer上对数据执行自定义计算，而不是在客户端上执行计算。 本文是以上两者的简单实例，使用的环境：环境 阅读全文
posted @ 2016-12-23 02:55 learn21cn 阅读(1271) 评论(1) 推荐(0) 编辑
hdfs以及hbase动态增加和删除节点
摘要：一个知乎上的问题：Hbase的Region server和hadoop的datanode是否可以部署在一台服务器上？如果是的话，二者是否是一对一的关系？部署在同一台服务器上，可以减少数据跨网络传输的流量。 但不是一对一对的关系，首先，数据还hdfs中保存N份，默认是三分，也就是说数据会分布在三个da 阅读全文
posted @ 2016-12-19 06:30 learn21cn 阅读(5847) 评论(0) 推荐(0) 编辑
hbase集群安装与部署
摘要：1、相关环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 hbase1.2.4 本篇文章仅涉及hbase集群的搭建，关于hadoop与zookeeper的相关部署参见上篇文章http://www.cnblogs.com/learn21cn/p/6184490. 阅读全文
posted @ 2016-12-19 06:07 learn21cn 阅读(684) 评论(0) 推荐(0) 编辑
zookeeper集群的搭建以及hadoop ha的相关配置
摘要：1、环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 master作为active主机，data1作为standby备用机，三台机器均作为数据节点，yarn资源管理器在master上开启，在data1上备用，data1上开启历史服务器 主要参考见下表 Data 阅读全文
posted @ 2016-12-15 19:27 learn21cn 阅读(2499) 评论(0) 推荐(0) 编辑
hbase开发实例
摘要：1、put/checkAndPut 使用checkAndPut，需要先对数据进行验证，上面的例子中，向row1中的cf:col1写入数据"E"，而验证的是row1中的cf:col5的值是否为"E"，注意这一点，相当于加了条件。 2、使用get读取数据 参考结果： 3、使用scan获取数据 4、del 阅读全文
posted @ 2016-12-11 01:11 learn21cn 阅读(818) 评论(0) 推荐(0) 编辑
使用bulkload向hbase中批量写入数据
摘要：1、数据样式 写入之前，需要整理以下数据的格式，之后将数据保存到hdfs中，本例使用的样式如下（用tab分开）： 2、代码 假设要将以上样式的数据写入到hbase中，列族为cf，列名为colb，可以使用下面的代码（参考） 这段代码使用mapreduce程序对数据做了进一步处理，之后调用相关的api将 阅读全文
posted @ 2016-12-10 22:29 learn21cn 阅读(2593) 评论(0) 推荐(0) 编辑
一个典型的MapRuduce实例------webcount（网站统计访客信息）
摘要：统计某一特定网站的某个时辰访客人数 所用版本：hadoop2.6.5 数据样式如下： 辅助类 mapper 映射特定年份中每月每天每个时辰的访客数 reducer 汇总一个时辰内访客人数 driver 配置信息，程序入口 command result 阅读全文
posted @ 2016-12-05 01:17 learn21cn 阅读(701) 评论(0) 推荐(0) 编辑
MapRedue开发实例
摘要：一些例子，所用版本为hadoop 2.6.5 1、统计字数 数据格式如下（单词，频数，以tab分开）： 2、统计用户在网站的停留时间 数据格式（用户，毫秒数，网站，以tab分开）： 运行：hadoop jar ~/c02mrtest.jar com.mr.test.MRWeb TestData/we 阅读全文
posted @ 2016-12-04 00:33 learn21cn 阅读(663) 评论(0) 推荐(1) 编辑
HDFS开发实例
摘要：1、列出HDFS中的文件 注： 1> 如果出现了java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries 这种错误，可以通过设置设置HADOOP_HOME 环境变量来解决 阅读全文
posted @ 2016-12-03 03:56 learn21cn 阅读(1085) 评论(0) 推荐(0) 编辑
Hadoop分布式系统的安装部署
摘要：关于hadoop完全分布式的安装与部署。 阅读全文
posted @ 2016-11-26 05:08 learn21cn 阅读(645) 评论(0) 推荐(0) 编辑