09 2017 档案

工作流调度器Azkaban的安装配置
摘要：Azkaban安装部署 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 目前azkaban只支持 mysql,需安装mysql服务器 阅读全文
posted @ 2017-09-29 18:49 Exception2011 阅读(150) 评论(0) 推荐(0)
MySQL初学入门基础知识-sql语句
摘要：MySQL是一个关系型的数据库,也是开源的数据库，在数据库市场占有很大比重。 下面简单介绍一下MySQL的入门知识。让大家快速入门学习。 安装就不详细介绍了。网上都有安装步骤。 mysql基本操作：一.启动mysql服务： net start mysql二.终止mysql服务： net stop m 阅读全文
posted @ 2017-09-29 11:11 Exception2011 阅读(205) 评论(0) 推荐(0)
spark大数据生态架构
摘要：Spark生态圈也称为BDAS（伯克利数据分析栈），是伯克利APMLab实验室打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的一个平台。伯克利AMPLab运用大数据、云计算、通信等各种资源以及各种灵活的技术方案，对海量不透明 阅读全文
posted @ 2017-09-29 11:02 Exception2011 阅读(657) 评论(0) 推荐(0)
快速排序算法——分析及总结 （非常好）
摘要：http://v.youku.com/v_show/id_XMzMyODk4NTQ4.html 哈哈，话说真心有点儿不理解，国外的亲们真是有意思，这舞蹈一跳，丫的瞬间就明白了所谓的快速排序。建议国内教授计算机算法的老师都看一下这个系列的舞蹈，很给力。 话说已经有了充分的分析，以下文章转自：http: 阅读全文
posted @ 2017-09-26 14:23 Exception2011 阅读(1413) 评论(0) 推荐(0)
经典的大数据面试题总结
摘要：Big Data 面试题总结 JAVA相关 1-1）List 与set 的区别？ 老掉牙的问题了，还在这里老生常谈：List特点：元素有放入顺序，元素可重复 ，Set特点：元素无放入顺序，元素不可重复。 1-2）数据库的三大范式？ 原子性、一致性、唯一性 1-3）java 的io类的图解 1-4）对 阅读全文
posted @ 2017-09-26 14:20 Exception2011 阅读(914) 评论(0) 推荐(0)
flume采集数据报错问题解决
摘要：在一次实验过程中,使用flume 1.7采集本地的数据到hdfs文件系统时,由于配置文件不合理,导致出错。错误如下: [WARN - org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream. 阅读全文
posted @ 2017-09-26 11:28 Exception2011 阅读(1037) 评论(0) 推荐(0)
spark入门知识和job任务提交流程
摘要：spark是Apache开源社区的一个分布式计算引擎，基于内存计算，所以速度要快于hadoop. 下载 地址spark.apache.org 安装 复制一台单独的虚拟机，名c 修改其ip，192.168.56.200 修改其hostname为c，hostnamectl set-hostname c 阅读全文
posted @ 2017-09-25 14:28 Exception2011 阅读(199) 评论(0) 推荐(0)
Java异常处理机制介绍
摘要：摘要: 在Java中，常见的异常包括 error和exception类型。对于error类型的错误，JVM无法做出处理，遇到错误会程序停止执行。而exception是Java虚拟机中处理程序运行时的异常，运行过程中可能由于用户输入了不合法的参数或一些不符合要求的数据而抛出的异常。比如常见的除数不能为 阅读全文
posted @ 2017-09-25 14:24 Exception2011 阅读(163) 评论(0) 推荐(0)
Linux定时任务cron详解
摘要：摘要:相信不少linux爱好者们或开发过程中都在使用Linux环境吧。其中crontab就是一个非常强大的定时任务执行器。比如我们可以设置好何时执行任务的脚本，系统会在指定的时间内开始任务。等到我们需要的时候已经将结果输出到了指定的文件或通知给了管理员。可以为我们节省很多时间的。下面介绍一下cron 阅读全文
posted @ 2017-09-25 11:58 Exception2011 阅读(1601) 评论(0) 推荐(1)