随笔分类 -  Spark

Spark on Yarn遇到的几个问题
摘要：1 概述 Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。 在部署和运行Spark Application的过程中，如果不注意一些小的细节... 阅读全文
posted @ 2014-08-04 13:23 Scott007 阅读(41658) 评论(12) 推荐(1)
Spark1.0.x入门指南
摘要：1 节点说明IPRole192.168.1.111ActiveNameNode192.168.1.112StandbyNameNode,Master,Worker192.168.1.113DataNode,Master,Worker192.168.1.114DataNode,WorkerHDFS集群... 阅读全文
posted @ 2014-07-16 21:36 Scott007 阅读(5117) 评论(2) 推荐(5)