摘要：scala与java之间的关系，我认为可以用一句话来开头：scala来源于java，但又高于java。 scala的设计者Martin Odersky就是一个JAVA控，这位牛人设计了javac和编写了jdk中的通用代码。可以说java语言本身就是Martin Odersky一步一步看着长大的... 阅读全文

摘要：scala 最吸引人的一点就是actor并发编程了。但是纵观scala官方文档，baidu文档，IBM文档都写的通过字符串传呀传，如果用作actor编程说明当然没有问题。但是在正式开放中，光传字符串就显的势单力薄了。所以如何传对象呢？先看通过字符串传递消息的模型：消息接收类：import scala... 阅读全文

摘要：scala如何解决类型强转问题 scala属于强类型语言，在指定变量类型时必须确定数据类型，即便scala拥有引以为傲的隐式推到，这某些场合也有些有心无力。 例如： java同属强类型语言，但java可以进行类型强转。因此在进行面向接口编程时，借助类型强转，只要编码没有问题，就可以使用准备... 阅读全文

摘要：近日新写完的spark任务放到yarn上面执行时，在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn... 阅读全文

摘要：在单机模式下执行成功的spark程序，在yarn上面就报错。异常信息如下： 1 14/08/14 02:05:42 INFO DAGScheduler: Completed ResultTask(2, 0) 2 14/08/14 02:05:42 INFO DAGScheduler: Stage 2... 阅读全文

摘要：看惯了JAVA的语法，再看scala的语法，有的晦涩难懂。正好遇到一个介绍scala语法的文章，就直接截图留念。省的再临时抱佛脚了。 阅读全文

摘要：问题1：SPARK与HADOOP之间的关系？ spark是一种高效处理hadoop分布式数据的处理引擎。借助hadoop的yarn框架，spark就可以运行在hadoop集群中。同时spark也可以处理存储在hdfs、Hbase、Cassandra、hive和所有存储在hadoop中的数据。spa... 阅读全文