2019年10月21日

摘要: flume自定义拦截器:实现Interceptor接口flume自定义source:继承AbstractSourceflume自定义sink:继承AbstractSink azkaban:任务调度工具。正常使用即可任务调度,定时执行,任务之间的依赖 sqoop:数据导入导出工具将关系型数据库当中的数 阅读全文
posted @ 2019-10-21 14:02 你好!Mr陈 阅读(182) 评论(0) 推荐(0)
 
摘要: 1.数据仓库 2.hive介绍 3.hive的操作 4.hive参数 5.hive函数(udf) 6.hive数据压缩 7.hive存储格式 8.存储和压缩相结合 9.hive调优 1.数据仓库 ​ 数据仓库:用于存储大量的历史历史数据。简称DW或者DWH,databasewarehouse,用于面 阅读全文
posted @ 2019-10-21 13:59 你好!Mr陈 阅读(297) 评论(0) 推荐(0)
 
摘要: 1、hbase的基本介绍:google三篇论文: bigtable ==》 HBasehbase也是一个nosql数据库 ,基于hadoop上面的一个nosql数据库hbase主要是用于存储结构和和半结构化松散数据 hbase支持的所有的数据类型都是 :byte[] hbase的特点: 大:一个表可 阅读全文
posted @ 2019-10-21 13:54 你好!Mr陈 阅读(700) 评论(0) 推荐(0)