摘要: 刚开始接触Spark被Hive在Spark中的作用搞得云里雾里,这里简要介绍下,备忘。 参考:https://blog.csdn.net/zuochang_liu/article/details/82292076 SparkSQL:是一个完全不依赖Hive的SQL引擎。 Spark On Hive 阅读全文
posted @ 2019-01-26 17:50 mxgboy 阅读(2951) 评论(0) 推荐(0) 编辑
摘要: Scala Type ES Unit null None null Nil empty array Some[T] according to the table Map object Traversable array case class object(see Map) Product array 阅读全文
posted @ 2019-01-21 11:39 mxgboy 阅读(438) 评论(0) 推荐(0) 编辑
摘要: 参考:https://blog.csdn.net/dymkkj/article/details/77921573 Java和Scala互操作的一个重要的内容就是容器的转换,容器是一个语言的数据结构,表现了一个语言除了语法之外的第二重要气质。所以了解Scala的容器尤为重要。 scala--java集 阅读全文
posted @ 2019-01-21 10:10 mxgboy 阅读(2267) 评论(0) 推荐(0) 编辑
摘要: 修改spark-class脚本 ,这个脚本在spark安装目录下的bin目录中。 修改最后两行: done < <("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@")修改为:done < <("$RUNNER" 阅读全文
posted @ 2019-01-12 10:28 mxgboy 阅读(342) 评论(0) 推荐(0) 编辑
摘要: 1、作为“通配符”,类似Java中的*。如import scala.math._2、:_*作为一个整体,告诉编译器你希望将某个参数当作参数序列处理!例如val s = sum(1 to 5:_*)就是将1 to 5当作参数序列处理。3、指代一个集合中的每个元素。例如我们要在一个Array a中筛出偶 阅读全文
posted @ 2019-01-07 19:03 mxgboy 阅读(623) 评论(0) 推荐(0) 编辑
摘要: 转自:https://blog.csdn.net/qq_26597927/article/details/80170073 Maven打包三种方法(推荐第三种) 2018年05月02日 18:30:23 wind_gogo 阅读数:14853 转自:https://blog.csdn.net/qq_ 阅读全文
posted @ 2019-01-05 18:50 mxgboy 阅读(1238) 评论(0) 推荐(0) 编辑
摘要: 实验需要ES,安装过程中遇到一些奇葩的问题,记录下。下面介绍下安装步骤; 第一步:安装java ES是运行在java虚拟机上面的,所以首先需要安装java环境,安装过程不再赘述,唯一需要注意的是ES对java版本的要求,官网上有介绍。 我使用的是java-1.8 ES:5.6.4 第二步:创建用户 阅读全文
posted @ 2018-12-21 19:22 mxgboy 阅读(314) 评论(0) 推荐(0) 编辑
摘要: 注意SparkSQL JDBC和SparkSQL JDBCSever是完全两种不同的场景。 SparkSQL JDBC SparkSQL可以使用JDBC的方式访问其他数据库,和普通非spark程序访问jdbc的方式相同。只是Spark中访问jdbc提供了接口能够将得到的数据转化成DataFrame。 阅读全文
posted @ 2018-12-21 17:12 mxgboy 阅读(1541) 评论(0) 推荐(0) 编辑
摘要: 转自https://zhidao.baidu.com/question/59790034.html 写得很清楚,就直接搬过来了备忘 作用:在当前bash环境下读取并执行FileName中的命令。 注:该命令通常用命令".”来替代。 使用范例: 1、source filename 2、. filena 阅读全文
posted @ 2018-12-14 17:20 mxgboy 阅读(5465) 评论(0) 推荐(0) 编辑
摘要: System类来自于这个包:java.lang.System System.getProperty("XXX")方法用来读取JVM中的系统属性,那么java 虚拟机中的系统属性使用在运行java程序的时候java -D配置,有两种方式 1-在命令行配置 在eclipse中,选中这个项目,然后在工具栏 阅读全文
posted @ 2018-12-12 20:02 mxgboy 阅读(20992) 评论(0) 推荐(2) 编辑