Flume日志收集
摘要：
Hdfs数据接入方式 Flume是什么 Flume在hadoop生态体系中的位置 Flume架构解析--Flume OG Flume NG架构解析—单agent部署 channel起到缓存的作用，防止从source进来的数据一下子太多了马上拥到sink Flume架构解析—核心概念 Flume架构解 阅读全文
posted @ 2017-11-03 11:15 百里登峰 阅读(349) 评论(0) 推荐(0)
flume用场景及架构原理
摘要：
Flume是什么 1.flume可以将采集到的数据存储到HDFS上，也可以放在Hbase上。 2.flume就是一个中间插件，他的作用就是屏蔽数据源和数据存储系统的差异。可以在不同的数据源采集数据，因为数据源是多样化的。 数据源的多样化和数据存储系统的多样化，flume作为一个中间插件把数据源和存储 阅读全文
posted @ 2017-11-02 17:56 百里登峰 阅读(339) 评论(0) 推荐(0)
shell脚本
摘要：
Shell vs Shell脚本 Shell 环境 Shell 两种执行命令的方式 第一个Shell脚本 运行Shell脚本 下面是一个例子： #!/bin/bash #set -x if [ $# -lt 3 ] #$#是传递到脚本的参数个数，如果参数个数小于3退出 then echo "Usag 阅读全文
posted @ 2017-11-01 01:13 百里登峰 阅读(394) 评论(0) 推荐(0)
sqoop导入导出
摘要：
sqoop产生背景 什么是sqoop sqoop的优势 sqoop1与sqoop2的比较 为什么选择sqoop1 sqoop在hadoop生态体系中的位置 sqoop基本架构 sqoop import原理 sqoop import 详细流程 sqoop export原理 sqoop 安装部署 sqo 阅读全文
posted @ 2017-10-29 17:43 百里登峰 阅读(365) 评论(0) 推荐(0)
HBase核心知识和应用案例
摘要：
Hbase 热点问题？ Hbase 预分区 Hbase Rowkey 设计原则 Hbase 常见避免热点问题方法 Hbase 总结 Hbase 连续查询的Rowkey设计 Hbase 随机查询的Rowkey设计 Hbase columnFamily设计 Hbase 表设计 Hbase 窄表设计 Hb 阅读全文
posted @ 2017-10-23 22:10 百里登峰 阅读(929) 评论(0) 推荐(0)
HBase原理和架构
摘要：
HBase是什么 HBase在生态体系中的位置 HBase vs HDFS HBase表的特点 HBase是真正的分布式存储，存储级别达到TB级别，而才传统数据库就不是真正的分布式了，传统数据库在底层，虽然的存储能力很强，一旦达到上亿条数据。读取性能下降得很快。 传统数据库按行存储，如果列过多的话， 阅读全文
posted @ 2017-10-22 22:29 百里登峰 阅读(707) 评论(0) 推荐(0)
Hive UDF作业
摘要：
说到这次作业，看似简单的几个步骤，对于我这样的菜鸟来说可真是一波三折啊。下面来说说这次的步骤和我遇到的问题。 首先准备工作，搭建好hive环境，保证hadoop集群是启动的。这个就不多说了。 第一步：将数据导入Hive中 在hive中，创建 stock 表结构。 hive> create table 阅读全文
posted @ 2017-10-20 16:01 百里登峰 阅读(267) 评论(0) 推荐(0)
浙公网安备 33010602011771号