摘要：
I read the section Metrics on spark website. I wish to try it on the wordcount example, I can't make it work. spark/conf/metrics.properties : I run my 阅读全文
posted @ 2016-09-18 17:03
大数据从业者FelixZh
阅读(632)
评论(0)
推荐(0)
摘要：
监控Spark应用有很多种方法。Web接口每一个SparkContext启动一个web UI用来展示应用相关的一些非常有用的信息，默认在4040端口。这些信息包括：任务和调度状态的列表RDD大小和内存使用的统计信息正在运行的executor的信息环境信息你可以在浏览器中打开http://<drive 阅读全文
posted @ 2016-09-18 13:36
大数据从业者FelixZh
阅读(9227)
评论(0)
推荐(1)
摘要：
Spark 指南 Spark 是继 Hadoop 之后新一代的大数据分布式处理平台。它是一个基于内存、容错型的分布式计算引擎，与 Hadoop MapReduce 相比，计算速度要快100倍。 Spark 卓越的用户体验以及统一的技术堆栈基本上解决了大数据领域所有的核心问题，使得 Spark 迅速成 阅读全文
posted @ 2016-09-18 11:51
大数据从业者FelixZh
阅读(893)
评论(0)
推荐(0)
浙公网安备 33010602011771号