随笔分类 -  spark

常见应用 - SparkSql 之 函数
摘要：org.apache.spark.sql.functions是一个Object，提供了约两百多个函数。 大部分函数与Hive的差不多。 除UDF函数，均可在spark-sql中直接使用。 经过import org.apache.spark.sql.functions._ ，也可以用于Datafram 阅读全文
posted @ 2020-10-27 14:57 快乐的张小凡 阅读(558) 评论(0) 推荐(0)
常见应用 - SparkSql 之 Column类
摘要：1.什么是Column对象 Column 表示了 Dataset 中的一个列, 并且可以持有一个表达式, 这个表达式作用于每一条数据, 对每条数据都生成一个值 2.Column对象如何创建 (1)’ 单引号 ’ 在 Scala 中是一个特殊的符号, 通过 ’ 会生成一个 Symbol 对象, Sym 阅读全文
posted @ 2020-10-27 14:47 快乐的张小凡 阅读(3107) 评论(0) 推荐(1)
常见应用 - SparkSql 之 DSL(2)
摘要：import org.apache.spark.sql.SQLContext import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.hive.HiveContext import org.apache.s 阅读全文
posted @ 2020-10-27 14:30 快乐的张小凡 阅读(396) 评论(0) 推荐(0)
常见应用 - SparkSql 之 DSL(1)
摘要：package com.zhangxiaofan.testimport org.apache.spark._import org.apache.spark.sql.SparkSession/** * @author ZhangXiaoFan * @create 2020-10-20 9:58 */c 阅读全文
posted @ 2020-10-27 14:21 快乐的张小凡 阅读(807) 评论(0) 推荐(0)
常见错误 - sparkSql和hive的整合之mysql报错
摘要：# hive # show databases; hive> show databases;FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: 阅读全文
posted @ 2019-07-08 18:43 快乐的张小凡 阅读(337) 评论(0) 推荐(0)