摘要：
park submit参数介绍 你可以通过spark-submit --help或者spark-shell --help来查看这些参数。 使用格式: ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deplo 阅读全文
posted @ 2018-01-17 11:06
anlcy
阅读(10631)
评论(0)
推荐(1)
摘要：
本文主要是讲解spark里RDD的基础操作。RDD是spark特有的数据模型，谈到RDD就会提到什么弹性分布式数据集，什么有向无环图，本文暂时不去展开这些高深概念，在阅读本文时候，大家可以就把RDD当作一个数组，这样的理解对我们学习RDD的API是非常有帮助的。本文所有示例代码都是使用scala语言 阅读全文
posted @ 2018-01-16 15:02
anlcy
阅读(1039)
评论(0)
推荐(0)
摘要：
我们可以选择使用spark-shell，spark-submit或者编写代码的方式运行Spark。在产品环境下，利用spark-submit将jar提交到spark，是较为常见的做法。但是在开发期间，每次都需要编译jar去做提交是一件麻烦事儿。尤其是在IDE例如IntelliJ Idea下，更直接的 阅读全文
posted @ 2018-01-16 14:09
anlcy
阅读(1662)
评论(0)
推荐(0)
摘要：
我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下： conf = SparkConf().setAppName(appName).setMaster(master) sc = SparkContext(conf=conf) /bin/spark-sub 阅读全文
posted @ 2018-01-16 13:55
anlcy
阅读(4282)
评论(0)
推荐(1)
摘要：
Spark Streaming基于Spark处理流式数据的框架，在MapReduce中，由于其分布式特性——所有数据需要读写磁盘、启动job耗时较大，难以满足时效性要求。而Streaming能够在Spark上生根发芽的原因是因为其内存特性、低延时的执行引擎和高速的执行效率。Streaming的原理是 阅读全文
posted @ 2018-01-16 10:41
anlcy
阅读(292)
评论(0)
推荐(0)
摘要：
准备条件 我用的Eclipse版本 Eclipse Java EE IDE for Web Developers. Version: Luna Release (4.4.0) 我用的是Eclipse for Java EE， 这个和Eclipse 是一样的 最好是用高版本的Eclipse,版本太低的 阅读全文
posted @ 2018-01-12 14:07
anlcy
阅读(3056)
评论(0)
推荐(0)
摘要：
本教程演示如何使用Scala-IDE构建一个Scala Maven项目。 1. 下载Scala IDE 通过以下链接下载Scala IDE： http://scala-ide.org/download/sdk.html 根据自己的平台选择自己相应版本下载。下载完成之后解压，如下： 选择eclipse 阅读全文
posted @ 2018-01-12 11:24
anlcy
阅读(377)
评论(0)
推荐(0)
摘要：
1.如果新建maven 项目确省maven dependencies,则在存在问题工程的.classpath末尾 加上 <classpathentry kind="con" path="org.eclipse.m2e.MAVEN2_CLASSPATH_CONTAINER"> <attributes> 阅读全文
posted @ 2018-01-10 18:18
anlcy
阅读(164)
评论(0)
推荐(0)
摘要：
下载地址为：http://maven.apache.org/download.cgi 进入此页面之后 点击下载，然后解压，我把目录名改为maven，目录结构如下图所示 下面我们配置环境变量 这是maven_home: 在path变量的最后面加上 ;%maven_home%\bin %号前面的;号不能 阅读全文
posted @ 2018-01-10 16:20
anlcy
阅读(168)
评论(0)
推荐(0)
摘要：
摘要 Hive内部提供了很多函数给开发者使用，包括数学函数，类型转换函数，条件函数，字符函数，聚合函数，表生成函数等等，这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数 数学函数 Return Type Name (Signatu 阅读全文
posted @ 2018-01-08 10:12
anlcy
阅读(340)
评论(0)
推荐(0)
浙公网安备 33010602011771号