2017年12月26日
Spark监控官方文档学习笔记
摘要： 任务的监控和使用 有几种方式监控spark应用：Web UI，指标和外部方法 Web接口 每个SparkContext都会启动一个web UI，默认是4040端口，用来展示一些信息： 1. 一系列调度的stage和task 2. RDD大小和内存的使用概况 3. 环境变量信息 4. excutors 阅读全文
posted @ 2017-12-26 09:03 xingoo 阅读(2837) 评论(0) 推荐(0) 编辑