摘要：1. 安装 1.1. 下载spark安装包 下载地址spark官网：http://spark.apache.org/downloads.html 这里我们使用 spark-1.6.2-bin-hadoop2.6版本. 1.2. 规划安装目录 /opt/bigdata 1.3. 解压安装包 tar - 阅读全文

摘要：Spark基础 ① 快--基于内存的运算 ② 易用--支持java,python和Scala的API,shell交互式运用,还支持超过80种高级算法 ③ 通用--spark提供了统一的解决方案,spark用于批处理,交互式查询spark sql, 实时流处理spark streaming,机器学习s 阅读全文

摘要：1.Spark集群部署后,需要在主节点和从节点分贝启动Master进行和Worker进程,对整个集群进行控制 2.在一个Spark应用的执行过程中,Driver和Worker是2个重要角色 3.Driver程序是应用逻辑执行的起点，负责作业的调度，即Task任务的分发，而多个Worker用来管理计算 阅读全文