2016 年 7月 27 日随笔档案 - Riordon

Spark2.0编译

摘要： Spark2.0编译 1 前言 Spark2.0正式版于今天正式发布，本文基于CDH5.0.2的Spark编译。 2 编译步骤 2.1 下载源码 wget https://github.com/apache/spark/archive/v2.0.0.tar.gz 2.2 解压配置基于CDH5.0. 阅读全文

posted @ 2016-07-27 18:48 Riordon 阅读(714) 评论(0) 推荐(0)

scala maven pom文件

摘要：老司机的spark maven pom文件 pom文件一： 4.0.0 com.glsx spark demo 1.0 SNAPSHOT jar spark demo http://maven.apache.org UTF 8 1.7 2.10.5 ${artifactId} <! 构建JDK ma 阅读全文

posted @ 2016-07-27 18:36 Riordon 阅读(793) 评论(0) 推荐(0)

Linux脚本中使用特定JDK

摘要：有时linux系统中装了很多应用，我们又不能覆盖系统中设置的版本，此时我们就需要在脚本文件中设置特定版本。 export JAVA_HOME= export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH= 阅读全文

posted @ 2016-07-27 10:55 Riordon 阅读(1377) 评论(0) 推荐(0)