mxgboy

摘要： 刚开始接触Spark被Hive在Spark中的作用搞得云里雾里，这里简要介绍下，备忘。 参考：https://blog.csdn.net/zuochang_liu/article/details/82292076 SparkSQL：是一个完全不依赖Hive的SQL引擎。 Spark On Hive 阅读全文

摘要： Scala Type ES Unit null None null Nil empty array Some[T] according to the table Map object Traversable array case class object(see Map) Product array 阅读全文

摘要： 参考：https://blog.csdn.net/dymkkj/article/details/77921573 Java和Scala互操作的一个重要的内容就是容器的转换，容器是一个语言的数据结构，表现了一个语言除了语法之外的第二重要气质。所以了解Scala的容器尤为重要。 scala--java集 阅读全文

摘要： 修改spark-class脚本 ，这个脚本在spark安装目录下的bin目录中。 修改最后两行： done < <("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@")修改为：done < <("$RUNNER" 阅读全文

摘要： 1、作为“通配符”，类似Java中的*。如import scala.math._2、:_*作为一个整体，告诉编译器你希望将某个参数当作参数序列处理！例如val s = sum(1 to 5:_*)就是将1 to 5当作参数序列处理。3、指代一个集合中的每个元素。例如我们要在一个Array a中筛出偶 阅读全文

摘要： 转自：https://blog.csdn.net/qq_26597927/article/details/80170073 Maven打包三种方法（推荐第三种） 2018年05月02日 18:30:23 wind_gogo 阅读数：14853 转自：https://blog.csdn.net/qq_ 阅读全文

摘要： 实验需要ES，安装过程中遇到一些奇葩的问题，记录下。下面介绍下安装步骤； 第一步：安装java ES是运行在java虚拟机上面的，所以首先需要安装java环境，安装过程不再赘述，唯一需要注意的是ES对java版本的要求，官网上有介绍。 我使用的是java-1.8 ES：5.6.4 第二步：创建用户 阅读全文

摘要： 注意SparkSQL JDBC和SparkSQL JDBCSever是完全两种不同的场景。 SparkSQL JDBC SparkSQL可以使用JDBC的方式访问其他数据库，和普通非spark程序访问jdbc的方式相同。只是Spark中访问jdbc提供了接口能够将得到的数据转化成DataFrame。 阅读全文

摘要： 转自https://zhidao.baidu.com/question/59790034.html 写得很清楚，就直接搬过来了备忘 作用：在当前bash环境下读取并执行FileName中的命令。 注：该命令通常用命令".”来替代。 使用范例： 1、source filename 2、. filena 阅读全文

摘要： System类来自于这个包：java.lang.System System.getProperty("XXX")方法用来读取JVM中的系统属性，那么java 虚拟机中的系统属性使用在运行java程序的时候java -D配置，有两种方式 1-在命令行配置 在eclipse中，选中这个项目，然后在工具栏 阅读全文