12 2018 档案

摘要:1、Oozie英文翻译 驯象人 2、Oozie简介 一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。 Oozie需要部署到Java Servlet容器中运行。 3、Oozie在集群中扮演的角色 定时调度 阅读全文
posted @ 2018-12-29 21:36 JokerQ- 阅读(6148) 评论(0) 推荐(0)
摘要:1、Flume在集群中扮演的角色 Flume、Kafka用来实时进行数据收集,Spark、Storm用来实时处理数据,impala用来实时查询。 2、Flume框架简介 1.1 Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务,Flume只能在Unix环境下运行。 阅读全文
posted @ 2018-12-29 13:08 JokerQ- 阅读(1025) 评论(0) 推荐(0)
摘要:sqoop(sql-to-hadoop) Apache Sqoop是用来实现结构型数据(如关系数据库)和Hadoop之间进行数据迁移的工具。它充分利用了MapReduce的并行特点以批处理的方式加快数据的传输,同时也借助MapReduce实现了容错。 可以把数据从hdfs倒到mysql 也可以把数据 阅读全文
posted @ 2018-12-13 10:03 JokerQ- 阅读(416) 评论(0) 推荐(0)
摘要:一、寻找spring配置文件约束头(也可直接复制已有的) 1.在本地文件夹解压spring核心包(dist) 例:核心包的约束位置(D:\JavaSources\spring-framework-4.2.4.RELEASE\docs\spring-framework-reference\html\x 阅读全文
posted @ 2018-12-01 11:17 JokerQ- 阅读(1482) 评论(0) 推荐(0)