2017年9月29日
工作流调度器Azkaban的安装配置
摘要： Azkaban安装部署 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 目前azkaban只支持 mysql,需安装mysql服务器 阅读全文
posted @ 2017-09-29 18:49 Exception2011 阅读(142) 评论(0) 推荐(0) 编辑
MySQL初学入门基础知识-sql语句
摘要： MySQL是一个关系型的数据库,也是开源的数据库，在数据库市场占有很大比重。 下面简单介绍一下MySQL的入门知识。让大家快速入门学习。 安装就不详细介绍了。网上都有安装步骤。 mysql基本操作：一.启动mysql服务： net start mysql二.终止mysql服务： net stop m 阅读全文
posted @ 2017-09-29 11:11 Exception2011 阅读(195) 评论(0) 推荐(0) 编辑
spark大数据生态架构
摘要： Spark生态圈也称为BDAS（伯克利数据分析栈），是伯克利APMLab实验室打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的一个平台。伯克利AMPLab运用大数据、云计算、通信等各种资源以及各种灵活的技术方案，对海量不透明 阅读全文
posted @ 2017-09-29 11:02 Exception2011 阅读(582) 评论(0) 推荐(0) 编辑
MapReduce执行流程详解
摘要： Hadoop经典的核心框架。就是hdfs和MapReduce。其中MapReduce是处理大规模离线数据的框架。 其中Hadoop的MapReduce的经典的shuffle过程。 请见下图 1)输入和拆分： 不属于map和reduce的主要过程，但属于整个计算框架消耗时间的一部分，该部分会为正式的m 阅读全文
posted @ 2017-09-29 10:56 Exception2011 阅读(146) 评论(0) 推荐(0) 编辑