来自遥远的水星

摘要： 转载自： http://blog.csdn.net/u010967382/article/details/37878701 概述 对于建表，和RDBMS类似，HBase也有namespace的概念，可以指定表空间创建表，也可以直接创建表，进入default表空间。 对于数据操作，HBase支持四类主 阅读全文

摘要： 一.基础操作 1.进入shell命令行 bin/hbase shell [hadoop@hadoop102 hbase]$ bin/hbase shell SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding 阅读全文

摘要： 一.Zookeeper正常部署 Zookeeper集群的正常部署并启动 二.Hadoop正常部署 Hadoop集群的正常部署并启动 三.Hbase部署 1.下载 下载地址：https://hbase.apache.org/downloads.html 2.解压 当前安装版本为hbase-2.0.5, 阅读全文

摘要： 一.编译 hadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。 0. 环境准备 maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像） gcc-c++ zlib-d 阅读全文

摘要： 一.简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导入到 Hadoop 的 HDFS 中，也可以将 HD 阅读全文

摘要： 一.Kafka概述 1.1 定义 ​ Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 ​ 消息队列是解决生产中同步异步问题，解耦，削峰。 应用场景：一般用于实时业务，离线偶尔用来削峰。 二.Kafka快速入门 2.1 安装部署 集群 阅读全文

摘要： 一.简单实现 需求：根据 flume 监控 exec 文件的追加数据，写入 kafka 的 test-demo 分区,然后启用 kafka-consumer 消费 test-demo 分区数据。 需求分析 1）flume的配置文件 在hadoop102上创建flume的配置文件 # define a 阅读全文

摘要： Agent的配置文件最好根据Flume的拓扑架构，依次写好每个节点的配置文件； 一.Agent 开头都是先要定义agent，sorce，channel，sink名 # Name the components on this agent（ 描述这个Agent，给各个组件取名字） a1.sources 阅读全文

摘要： 一.Flume 数据传输流程 重要组件： 1）Channel选择器（ChannelSelector） ​ ChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和**Multiplexing**（多路复用）。 ​ Re 阅读全文

摘要： 一.安装部署 下载安装包，解压，分发多节点 1.安装地址 （1） Flume官网：http://flume.apache.org/ （2）文档查看：http://flume.apache.org/FlumeUserGuide.html （3）下载：http://archive.apache.org/ 阅读全文