上一页 1 2 3 4 5 6 7 8 ··· 20 下一页
  2018年12月9日
摘要: 一、需求1:对一张表的rowkey进行计数 二、需求2:本地数据导入到HBase中 附:love.tsv 三、需求3:将HBase中love表进行指定列的筛选然后倒入到lovemr表 1、ReadLoveMapper类 2、WriteLoveReducer类 3、LoveDriver类 四、需求4: 阅读全文
posted @ 2018-12-09 20:49 末 阅读(364) 评论(0) 推荐(0) 编辑
摘要: 一、使用IDEA的maven工程,工程结构如下: 二、maven的依赖pom.xml文件 三、hbase-site.xml,在HBase集群的{HBASE_HOME}/conf目录下下载到本地,放到resources资源目录下 四、core-site.xml,在Hadoop集群的{HADOOP_HO 阅读全文
posted @ 2018-12-09 16:02 末 阅读(1270) 评论(2) 推荐(0) 编辑
摘要: 一、HBase读取数据流程 二、HBase读取数据详细流程 三、HBase写数据流程 阅读全文
posted @ 2018-12-09 15:43 末 阅读(193) 评论(0) 推荐(0) 编辑
摘要: HBase结构 阅读全文
posted @ 2018-12-09 14:51 末 阅读(182) 评论(0) 推荐(0) 编辑
摘要: HBase架构 Hadoop和ZooKeeper依赖 阅读全文
posted @ 2018-12-09 14:19 末 阅读(327) 评论(0) 推荐(0) 编辑
  2018年12月1日
摘要: 一、Azkaban概述 Azkaban是一个分布式工作流管理器,在LinkedIn上实现,以解决Hadoop作业依赖性问题。 我们有需要按顺序运行的工作,从ETL工作到数据分析产品。 特点: 1)给用户提供了一个非常友好的可视化界面->web界面 2)非常方便的上传工作流-》打成压缩包 3)设置任务间的关系 4)权限设置-》删库到跑路 ... 阅读全文
posted @ 2018-12-01 19:28 末 阅读(2738) 评论(0) 推荐(0) 编辑
摘要: 一、Sqoop概述 1)官网 http://sqoop.apache.org/ 2)场景 传统型缺点,分布式存储。把传统型数据库数据迁移。 Apache Sqoop(TM)是一种用于在Apache Hadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。 二、Sqoop安装部署 1)下载安装包 2)解压 tar -... 阅读全文
posted @ 2018-12-01 14:59 末 阅读(1044) 评论(0) 推荐(0) 编辑
  2018年11月25日
摘要: 一、Flume概述 二、Flume安装部署 三、Flume监听端口 1、安装telnet 2、写配置文件 flumejob_telnet.conf 放置在flume/conf/下 3、启动 4、发送数据 5、查看 四、实时的采集文件到HDFS 1、写配置文件 flumejob_hdfs.conf 2 阅读全文
posted @ 2018-11-25 20:53 末 阅读(1552) 评论(0) 推荐(0) 编辑
摘要: 一、Hive简介 Hive架构 二、Hive安装 三、Hive数据类型 附件1:数据员工表 emp.txt 四、DML数据操作 附件2:数据部门表 dept.txt 五、查询与函数 六、join和分桶 附件3:数据地址表 location.txt 附件4:数据分桶数据表 emp_b.txt 七、Hi 阅读全文
posted @ 2018-11-25 18:01 末 阅读(1053) 评论(0) 推荐(0) 编辑
摘要: 1、首先检查 MySQL 是否已安装 2、MySQL 依赖 libaio,所以先要安装 libaio 3、下载 MySQL Yum Repository 注意:如果提示-bash: wget: 未找到命令,请先执行 yum install wget 安装 wget 4、添加 MySQL Yum Re 阅读全文
posted @ 2018-11-25 16:29 末 阅读(3624) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 20 下一页