随笔分类 -  spark

有关spark学习记录
hdfs删除过期文件
摘要：hdfs删除过期文件方法 注意arr[11]随目录变化，看日期那一栏在目录 split($8,arr,"/") 的哪一列 #remove old model old_version=$(hdfs dfs -ls hdfs://bj04-region09/region09/11127/app/deve 阅读全文
posted @ 2022-04-15 15:53 HappierJoanne 阅读(282) 评论(0) 推荐(0)
spark解析json数据
摘要：一、scala.util.parsing.json.JSON import scala.util.parsing.json.JSON val data="""["美食|1.0"]""" JSON.parseFull(data).get.asInstanceOf[List[String]] 二、com 阅读全文
posted @ 2021-09-13 20:26 HappierJoanne 阅读(452) 评论(0) 推荐(0)