Spark SQL更改表结构

使用SparkSQL进行数据分析时,改变DataFrame中字段的类型,更改SparkSQL的表结构。
 
定义一个函数,将表内的 Double 类型转为 Long 类型:val toLong = udf[Long, Double](_.toLong)
使用 withColumn 变换字段类型:val dfs2 = dfs.withColumn("click", toLong(dfs("click"))).withColumn("view", toLong(dfs("view")))
 
参考:http://www.tuicool.com/articles/3uyeamZ
posted @ 2016-11-28 17:30  Uncle_Nucky  阅读(1528)  评论(0)    收藏  举报