打赏
上一页 1 ··· 126 127 128 129 130 131 132 133 134 ··· 180 下一页
摘要: 这个小知识点,看似简单,用处极大。 $ hive --hiveconf hive.cli.print.current.db=true $ hive --hiveconf hive.cli.print.header=true hive参数的使用 hive > create table t5(name 阅读全文
posted @ 2016-12-01 09:40 大数据和AI躺过的坑 阅读(3198) 评论(0) 推荐(0)
摘要: 不多说,直接上干货! 目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。 手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切 阅读全文
posted @ 2016-11-30 17:50 大数据和AI躺过的坑 阅读(19096) 评论(0) 推荐(0)
摘要: 不多说,直接上干货! 首先,大家先去看我这篇博客。对于Oozie的安装有一个全新的认识。 Oozie安装的说明 我这里呢,本篇博文定位于手动来安装Oozie,同时避免Apache版本的繁琐编译安装,直接使用CDH版本,已经编译好的oozie-4.1.0-cdh5.5.4.tar.gz。 如果,你要使 阅读全文
posted @ 2016-11-30 16:40 大数据和AI躺过的坑 阅读(5469) 评论(0) 推荐(0)
摘要: 不多说,直接干货! Oozie相当于Hadoop的一个客户端,因此集群中要有一台机器部署Oozie server端即可,由于可以有任意多个客户端连接Oozie,故每个客户端都必须部署Oozie client。 比如我的机器有hadoopmaster、hadoopslave1、hadoopslave2 阅读全文
posted @ 2016-11-30 15:32 大数据和AI躺过的坑 阅读(1963) 评论(0) 推荐(0)
摘要: Oozie的架构图,如下: 从oozie的架构图中,可以看到所有的任务都是通过oozie生成相应的任务客户端,并通过任务客户端来提交相应的任务。 继续。。。 阅读全文
posted @ 2016-11-30 14:33 大数据和AI躺过的坑 阅读(1144) 评论(0) 推荐(0)
摘要: Oozie的作用: 1、统一调度hadoop系统中常见的mr任务启动、 hdfs操作、 shell调度、 hive操作等 2、使得复杂的依赖关系、时间触发、事件触发使用xml语言进行表达,开发效率提高 3、一组任务使用一个DAG来表示,使用图形表达流程逻辑更加清晰 4、支持很多种任务调度,能完成大部 阅读全文
posted @ 2016-11-30 14:30 大数据和AI躺过的坑 阅读(3091) 评论(1) 推荐(1)
摘要: 但是,一般用Azkaban了。(具体见我写的另一篇博客:) 官网:https://oozie.apache.org/ Oozie is a workflow scheduler system to manage Apache Hadoop jobs. Oozie Workflow jobs are 阅读全文
posted @ 2016-11-30 14:28 大数据和AI躺过的坑 阅读(36145) 评论(0) 推荐(2)
摘要: 导读 Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。 由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本!!! 经过架构重构后,Flume NG更像 阅读全文
posted @ 2016-11-30 10:14 大数据和AI躺过的坑 阅读(2858) 评论(0) 推荐(0)
摘要: Flume OG 与 Flume NG 的对比 1、Flume OG Flume OG:Flume original generation 即Flume 0.9.x版本,它由agent、collector、master等组件构成。 2、Flume NG Flume NG:Flume next gen 阅读全文
posted @ 2016-11-30 10:07 大数据和AI躺过的坑 阅读(1452) 评论(0) 推荐(0)
摘要: Flume 特点 1、可靠性 当节点出现故障时,日志能够被传送到其他节点上而不会丢失。 Flume提供了三种级别的可靠性保障,从强到弱依次分别为: (1) end-to-end(收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。), (2) St 阅读全文
posted @ 2016-11-30 10:05 大数据和AI躺过的坑 阅读(6824) 评论(0) 推荐(0)
上一页 1 ··· 126 127 128 129 130 131 132 133 134 ··· 180 下一页