2020年3月23日
Spark DataFrame简介(三)
摘要： Spark dataframe api简介 spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。合 阅读全文
posted @ 2020-03-23 17:35 DB乐之者 阅读(246) 评论(0) 推荐(0) 编辑
Spark DataFrame简介(二)
摘要： Spark DataFrame基础操作 创建SparkSession和SparkContext val spark = SparkSession.builder.master("local").getOrCreate() val sc = spark.sparkContext 从数组创建DataFr 阅读全文
posted @ 2020-03-23 17:22 DB乐之者 阅读(451) 评论(0) 推荐(0) 编辑