随笔分类 -  spark

mac os x 编译spark-2.1.0 for hadoop-2.7.3
摘要：mac os x maven编译spark-2.1.0 for hadoop-2.7.3 1.官方文档中要求安装Maven 3.3.9+ 和Java 8 ; 2.执行 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"3.cd spar 阅读全文
posted @ 2017-05-01 13:37 GrantYu 阅读(1060) 评论(0) 推荐(0)
spark app
摘要：使用Spark和Scala分析Apache访问日志http://www.jdon.com/bigdata/analyzing-apache-access-logs-files-spark-scala.html 阅读全文
posted @ 2014-05-12 17:03 GrantYu 阅读(301) 评论(0) 推荐(0)
source code spark
摘要：http://blog.csdn.net/pelick/article/category/1556747http://www.cnblogs.com/hseagle/ 阅读全文
posted @ 2014-05-12 17:01 GrantYu 阅读(265) 评论(0) 推荐(0)
编译spark-0.9.1
摘要：准备工作：注意 spark-0.9.1 要求 scala-2.10.x 版本，sbt-0.12.4版本。 centos 6.4 x64 系统,java 1.7.0 x64 1，安装 scala-2.10.x 2, 安装sbt-0.12.4 download rpm, http://www.scala... 阅读全文
posted @ 2014-05-12 14:34 GrantYu 阅读(305) 评论(0) 推荐(0)
Spark分布式安装
摘要：三台 服务器 n0,n2,n3 centos 6.4 X64 JDK, SCALA 2.11 Hadoop 2.2.0 spark-0.9.1-bin-hadoop2.tgz 说明： 1.所有机器上安装scala 2.所有机器上安装spark,可从master机器配置好，用scp 复制到剩余节点. 阅读全文
posted @ 2014-04-24 17:10 GrantYu 阅读(491) 评论(0) 推荐(0)