摘要：
这个小知识点，看似简单，用处极大。 $ hive --hiveconf hive.cli.print.current.db=true $ hive --hiveconf hive.cli.print.header=true hive参数的使用 hive > create table t5(name 阅读全文
posted @ 2016-12-01 09:40
大数据和AI躺过的坑
阅读(3198)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 目前啊，都知道，大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。 手工部署呢，需配置太多参数，但是，好理解其原理，建议初学这样做，能学到很多。该方式啊，均得由用户执行，细节太多，切 阅读全文
posted @ 2016-11-30 17:50
大数据和AI躺过的坑
阅读(19096)
评论(0)
推荐(0)
摘要：
不多说，直接上干货！ 首先，大家先去看我这篇博客。对于Oozie的安装有一个全新的认识。 Oozie安装的说明 我这里呢，本篇博文定位于手动来安装Oozie，同时避免Apache版本的繁琐编译安装，直接使用CDH版本，已经编译好的oozie-4.1.0-cdh5.5.4.tar.gz。 如果，你要使 阅读全文
posted @ 2016-11-30 16:40
大数据和AI躺过的坑
阅读(5469)
评论(0)
推荐(0)
摘要：
不多说，直接干货！ Oozie相当于Hadoop的一个客户端，因此集群中要有一台机器部署Oozie server端即可，由于可以有任意多个客户端连接Oozie，故每个客户端都必须部署Oozie client。 比如我的机器有hadoopmaster、hadoopslave1、hadoopslave2 阅读全文
posted @ 2016-11-30 15:32
大数据和AI躺过的坑
阅读(1963)
评论(0)
推荐(0)
摘要：
Oozie的架构图，如下： 从oozie的架构图中，可以看到所有的任务都是通过oozie生成相应的任务客户端，并通过任务客户端来提交相应的任务。 继续。。。 阅读全文
posted @ 2016-11-30 14:33
大数据和AI躺过的坑
阅读(1144)
评论(0)
推荐(0)
摘要：
Oozie的作用： 1、统一调度hadoop系统中常见的mr任务启动、 hdfs操作、 shell调度、 hive操作等 2、使得复杂的依赖关系、时间触发、事件触发使用xml语言进行表达，开发效率提高 3、一组任务使用一个DAG来表示，使用图形表达流程逻辑更加清晰 4、支持很多种任务调度，能完成大部 阅读全文
posted @ 2016-11-30 14:30
大数据和AI躺过的坑
阅读(3091)
评论(1)
推荐(1)
摘要：
但是，一般用Azkaban了。（具体见我写的另一篇博客：） 官网：https://oozie.apache.org/ Oozie is a workflow scheduler system to manage Apache Hadoop jobs. Oozie Workflow jobs are 阅读全文
posted @ 2016-11-30 14:28
大数据和AI躺过的坑
阅读(36145)
评论(0)
推荐(2)
摘要：
导读 Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。 由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本！！！ 经过架构重构后，Flume NG更像 阅读全文
posted @ 2016-11-30 10:14
大数据和AI躺过的坑
阅读(2858)
评论(0)
推荐(0)
摘要：
Flume OG 与 Flume NG 的对比 1、Flume OG Flume OG：Flume original generation 即Flume 0.9.x版本，它由agent、collector、master等组件构成。 2、Flume NG Flume NG：Flume next gen 阅读全文
posted @ 2016-11-30 10:07
大数据和AI躺过的坑
阅读(1452)
评论(0)
推荐(0)
摘要：
Flume 特点 1、可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。 Flume提供了三种级别的可靠性保障，从强到弱依次分别为： (1) end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。）， (2) St 阅读全文
posted @ 2016-11-30 10:05
大数据和AI躺过的坑
阅读(6824)
评论(0)
推荐(0)
浙公网安备 33010602011771号