随笔分类 -  spark

spark大数据生态架构
摘要：Spark生态圈也称为BDAS（伯克利数据分析栈），是伯克利APMLab实验室打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的一个平台。伯克利AMPLab运用大数据、云计算、通信等各种资源以及各种灵活的技术方案，对海量不透明 阅读全文
posted @ 2017-09-29 11:02 Exception2011 阅读(645) 评论(0) 推荐(0)
spark入门知识和job任务提交流程
摘要：spark是Apache开源社区的一个分布式计算引擎，基于内存计算，所以速度要快于hadoop. 下载 地址spark.apache.org 安装 复制一台单独的虚拟机，名c 修改其ip，192.168.56.200 修改其hostname为c，hostnamectl set-hostname c 阅读全文
posted @ 2017-09-25 14:28 Exception2011 阅读(195) 评论(0) 推荐(0)