2020年2月22日
6.Spark 监控管理
摘要： Monitoring and Instrumentation There are several ways to monitor Spark applications: web UIs, metrics, and external instrumentation. Web Interfaces Ev 阅读全文
posted @ 2020-02-22 13:00 野火春风 阅读(98) 评论(0) 推荐(0)
5.Spark 快速起步
摘要： Quick Start Security Interactive Analysis with the Spark Shell Basics More on Dataset Operations Caching Self-Contained Applications Where to Go from 阅读全文
posted @ 2020-02-22 12:58 野火春风 阅读(260) 评论(0) 推荐(0)
4. Spark 提交应用
摘要： Spark 提交应用 Spark’s bin 目录的spark-submit 脚本用于在一个集群上启动应用。它能通过统一的接口使用所有Spark支持的集群管理器。你不必为每个特别配置你的应用。 统一语法如下： ./bin/spark-submit \ --class <main-class> \ - 阅读全文
posted @ 2020-02-22 12:54 野火春风 阅读(142) 评论(0) 推荐(0)
3.Spark 集群模式
摘要： Spark 集群模式 系统当前支持几种集群管理器： Standalone – 包含在spark中的一个简单集群管理器，它使得设置一个集群很容易。 Apache Mesos – 一个通用集群管理器，也能运行Hadoop MapReduce 和 service 应用。 Hadoop YARN – the 阅读全文
posted @ 2020-02-22 12:44 野火春风 阅读(123) 评论(0) 推荐(0)
2.Spark 版本与运行环境
摘要： 当前Spark最新版本为Spark 2.4.5。Spark 使用Hadoop’s client libraries 存取HDFS and YARN。下载是流行hadoop版的便宜预包装。用户也可以下载免hadoop的二进制包，通过参数Spark’s classpath 运行spark 用于任何Had 阅读全文
posted @ 2020-02-22 12:24 野火春风 阅读(552) 评论(0) 推荐(0)
1.Spark 概念
摘要： Spark是什么？ 做什么用的? 在生态圈处于什么位置？ 阅读全文
posted @ 2020-02-22 11:15 野火春风 阅读(81) 评论(0) 推荐(0)