2014年12月1日

Spark集群测试

摘要： 1. Spark Shell测试Spark Shell是一个特别适合快速开发Spark原型程序的工具，可以帮助我们熟悉Scala语言。即使你对Scala不熟悉，仍然可以使用这一工具。Spark Shell使得用户可以和Spark集群进行交互，提交查询，这便于调试，也便于初学者使用Spark。测试案例... 阅读全文

posted @ 2014-12-01 12:25 kalor 阅读(3420) 评论(1) 推荐(0)

Spark程序提交到Yarn集群时所遇异常

摘要： Exception 1:当我们将任务提交给Spark Yarn集群时，大多会出现以下异常，如下：14/08/09 11:45:32 WARN component.AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0:4040: java.n... 阅读全文

posted @ 2014-12-01 11:14 kalor 阅读(2011) 评论(0) 推荐(1)

导航

2014年12月1日