2021年5月29日
SparkSql文档
摘要： SparkSQL是Spark上的高级模块，SparkSQL是一个SQL解析引擎，将SQL解析成特殊的RDD（DataFrame），然后在Spark集群中运行 SparkSQL是用来处理结构化数据的（先将非结构化的数据转换成结构化数据） SparkSQL支持两种编程API 1.SQL方式 2.Data 阅读全文
posted @ 2021-05-29 15:40 每天都要进步啊 阅读(479) 评论(0) 推荐(0)
序列化问题
摘要： package cn.edu360 import java.io.{FileInputStream, FileOutputStream, ObjectInputStream, ObjectOutputStream} /** * Created by zx on 2017/6/25. */class 阅读全文
posted @ 2021-05-29 15:00 每天都要进步啊 阅读(65) 评论(0) 推荐(0)
Spark任务提交和执行流程
摘要： 本文转自:https://www.cnblogs.com/chhyan-dream/p/12013463.html 1、概述 为了更好地理解调度，我们先看一下集群模式的Spark程序运行架构图，如上所示： 2、Spark中的基本概念 1、Application：表示你的程序 2、Driver：表示m 阅读全文
posted @ 2021-05-29 10:08 每天都要进步啊 阅读(483) 评论(0) 推荐(0)