摘要：
Spark On YARN内存分配（转载） Spark On YARN内存分配（转载） 说明 按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： yarn-client模式、yarn-cluster模式。 当在YARN上运行Spark作业，每个Spark ex 阅读全文
posted @ 2017-11-14 11:07
信方
阅读(791)
评论(0)
推荐(0)
摘要：
import java.io._ //基类---Ponit class Point(val xc: Int, val yc: Int) { //属性 var x: Int = xc var y: Int = yc //方法 def move(dx: Int, dy: Int) { x = x + dx y = y + dy println ("x 的坐... 阅读全文
posted @ 2017-11-13 16:24
信方
阅读(323)
评论(0)
推荐(0)
摘要：
import Array._ import scala.collection.mutable.Set object DataStructure { def main(args:Array[String]):Unit={ //数组 var z:Array[String] = new Array[String](3); var z1 = new Array[String](3);... 阅读全文
posted @ 2017-11-13 16:04
信方
阅读(5429)
评论(0)
推荐(0)
摘要：
参考：http://docs.scala-lang.org/cheatsheets/index.html、http://docs.scala-lang.org/、http://www.scala-lang.org/api/2.10.4/#package 1.关键字 空白字符。\u0020 | \u0 阅读全文
posted @ 2017-11-13 13:44
信方
阅读(664)
评论(0)
推荐(0)
摘要：
Scala函数 Scala有函数和方法。 Scala方法是一个具有名称和签名的类的一部分。 Scala中的函数是一个可以分配给变量的完整对象。 函数定义可以出现在源文件中的任何位置。 不带参数的函数 在Scala中定义函数，请使用def关键字，后跟方法名和方法体，如下所示。 等号=用作方法签名和方法 阅读全文
posted @ 2017-11-09 16:08
信方
阅读(1027)
评论(0)
推荐(0)
摘要：
Scala条件运算符 Scala条件运算符在下表中列出。 注意 &&和||是“短路"运算符。 一旦知道答案，他们就停止计算表达式。 在Java中，==仅比较对象引用。它不会执行逻辑等同性检查，即比较字段值。使用equals方法。 Scala使用==作为逻辑等式，但它调用equals方法。 当您想要比 阅读全文
posted @ 2017-11-09 15:21
信方
阅读(3507)
评论(0)
推荐(0)
摘要：
1.hello world程序 注意 语句末尾的分号通常是可选的。 语句末尾的分号通常是可选的。 分号是表达式分隔符，它们是推断的。 Scala将行的结尾视为表达式的结尾，除非它可以推断表达式继续到下一行。 Scala程序处理从主方法开始，这是每个Scala程序的一个强制性部分。 主要方法未标记为静 阅读全文
posted @ 2017-11-09 13:57
信方
阅读(10620)
评论(0)
推荐(0)
摘要：
解决方案一： #cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64 #源码编译snappy ./configure make & make install #cp libsnappy.so $JAVA_HOME/jre/l 阅读全文
posted @ 2017-11-09 10:43
信方
阅读(2684)
评论(0)
推荐(1)
摘要：
HDFS数据块所在存储的目录满了的解决方法 1.增加磁盘空间 2.删除回收站 hadoop dfs -du -h 查看各个HDFS空间占用情况 hadoop dfs -expunge 清空回收站 hadoop dfs -rm -skipTrash /user/path 删除目录跳过回收站 fs.tr 阅读全文
posted @ 2017-11-08 17:24
信方
阅读(4612)
评论(0)
推荐(0)
摘要：
1.安装mesos #用centos6的源yum安装 # rpm -Uvh http://repos.mesosphere.io/el/6/noarch/RPMS/mesosphere-el-repo-6-2.noarch.rpm # yum install mesos -y 注意：如果要运行Mes 阅读全文
posted @ 2017-11-08 14:42
信方
阅读(2526)
评论(0)
推荐(0)
浙公网安备 33010602011771号