随笔分类 -  spark

一种基于内存的分布式计算框架,效率比hadoop高大约100倍
scala与java之间的那些事
摘要:scala与java之间的关系,我认为可以用一句话来开头:scala来源于java,但又高于java。 scala的设计者Martin Odersky就是一个JAVA控,这位牛人设计了javac和编写了jdk中的通用代码。可以说java语言本身就是Martin Odersky一步一步看着长大的... 阅读全文

posted @ 2014-08-28 21:17 vikings`s blog 阅读(16444) 评论(0) 推荐(2)

scala actor编程之对象传递
摘要:scala 最吸引人的一点就是actor并发编程了。但是纵观scala官方文档,baidu文档,IBM文档都写的通过字符串传呀传,如果用作actor编程说明当然没有问题。但是在正式开放中,光传字符串就显的势单力薄了。所以如何传对象呢?先看通过字符串传递消息的模型:消息接收类:import scala... 阅读全文

posted @ 2014-08-28 16:55 vikings`s blog 阅读(534) 评论(0) 推荐(0)

scala如何解决类型强转问题
摘要:scala如何解决类型强转问题 scala属于强类型语言,在指定变量类型时必须确定数据类型,即便scala拥有引以为傲的隐式推到,这某些场合也有些有心无力。 例如: java同属强类型语言,但java可以进行类型强转。因此在进行面向接口编程时,借助类型强转,只要编码没有问题,就可以使用准备... 阅读全文

posted @ 2014-08-28 14:23 vikings`s blog 阅读(14638) 评论(0) 推荐(0)

spark 在yarn执行job时一直抱0.0.0.0:8030错误
摘要:近日新写完的spark任务放到yarn上面执行时,在yarn的slave节点中一直看到报错日志:连接不到0.0.0.0:8030 。1 The logs are as below:2 2014-08-11 20:10:59,795 INFO [main] org.apache.hadoop.yarn... 阅读全文

posted @ 2014-08-17 20:50 vikings`s blog 阅读(8566) 评论(2) 推荐(4)

spark在yarn-cluster上面执行报错
摘要:在单机模式下执行成功的spark程序,在yarn上面就报错。异常信息如下: 1 14/08/14 02:05:42 INFO DAGScheduler: Completed ResultTask(2, 0) 2 14/08/14 02:05:42 INFO DAGScheduler: Stage 2... 阅读全文

posted @ 2014-08-14 17:17 vikings`s blog 阅读(2245) 评论(0) 推荐(0)

scala语法解析(解码指环)
摘要:看惯了JAVA的语法,再看scala的语法,有的晦涩难懂。正好遇到一个介绍scala语法的文章,就直接截图留念。省的再临时抱佛脚了。 阅读全文

posted @ 2014-07-24 15:46 vikings`s blog 阅读(322) 评论(0) 推荐(0)

spark的若干问题
摘要:问题1:SPARK与HADOOP之间的关系? spark是一种高效处理hadoop分布式数据的处理引擎。借助hadoop的yarn框架,spark就可以运行在hadoop集群中。同时spark也可以处理存储在hdfs、Hbase、Cassandra、hive和所有存储在hadoop中的数据。spa... 阅读全文

posted @ 2014-07-16 21:39 vikings`s blog 阅读(809) 评论(0) 推荐(1)

导航