摘要: Spark有个关于是否允许一个application存在多个SparkContext实例的配置项, 如下: spark.driver.allowMultipleContexts: If true, log warnings instead of throwing exceptions when mu 阅读全文
posted @ 2020-09-02 11:32 我在安河桥北等你 阅读(507) 评论(0) 推荐(0) 编辑
摘要: 在Java或Scala中存在三种特殊类型的值,分别是Infinity,-Infinity,NaN,但这三个特殊值只存在于Double类型的计算过程中,对于同样形式的计算整形数据则会抛出异常如1.0/0.0 和 1/0 是不一样的r def main(args: Array[String]): Uni 阅读全文
posted @ 2020-09-02 11:14 我在安河桥北等你 阅读(301) 评论(0) 推荐(0) 编辑
摘要: 自己在用reduce reduceByKey groupBykey时一定要懂这几个的区别reduce是指第一次传入前两个变量到函数,计算的结果作为参数1与后面的变量又继续依次计算,以后每次都将前一次的计算结果和后一次取出来的值送入函数迭代计算直到输出一个最终值的结果reduceByKey 则是对具有 阅读全文
posted @ 2020-09-02 10:32 我在安河桥北等你 阅读(398) 评论(0) 推荐(0) 编辑