11 2018 档案

解决value toDF is not a member of org.apache.spark.rdd.RDD (spark2.1 )
摘要：解决上述办法有两点： 1、两个import 需要放在 hiveCtx之后。 2、case class 类(param1：type1 )需要放在函数外面，作为成员变量。 阅读全文
posted @ 2018-11-29 14:52 白白毛狗 阅读(3460) 评论(0) 推荐(0)
小白学习Spark系列五：scala解析多级json格式字符串
摘要：一、背景 处理json格式的字符串，key值一定为String类型，但value不确定是什么类型，也可能嵌套json字符串，以下是使用 JSON.parseFull 来解析多层json。 二、实例代码 三、分析 以上代码中，需要注意的两点是（1）类型转换时，默认的Map为 scala.collect 阅读全文
posted @ 2018-11-19 22:29 白白毛狗 阅读(6328) 评论(0) 推荐(1)