……

随笔分类 -  sparksql

spark
Spark SQL入门到实战之(8)数据倾斜优化
摘要:1.自定义UDF 1、依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in 阅读全文
posted @ 2021-02-01 18:26 大码王 阅读(478) 评论(0) 推荐(0) 编辑
Spark SQL入门到实战之(7)spark连接hive(spark-shell和eclipse两种方式)
摘要:1、在服务器(虚拟机)spark-shell连接hive 1.1 将hive-site.xml拷贝到spark/conf里 cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-2.2.1-bin-hadoop2.7/conf/ 1. 阅读全文
posted @ 2020-06-15 10:43 大码王 阅读(2356) 评论(0) 推荐(0) 编辑
Spark SQL入门到实战之(6)Spark Sql 连接mysql
摘要:1、基本概念和用法(摘自spark官方文档中文版) Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时,应该首选 JdbcRDD。这是因为结果是以数据框(DataFrame)返回的,且这样 Spark SQL操作轻松或便于连接其它数据源。 阅读全文
posted @ 2020-06-15 10:34 大码王 阅读(1263) 评论(0) 推荐(0) 编辑
Spark SQL入门到实战之(5)使用 Spark SQL 高效地读写 HBase
摘要:Apache Spark 和 Apache HBase 是两个使用比较广泛的大数据组件。很多场景需要使用 Spark 分析/查询 HBase 中的数据,而目前 Spark 内置是支持很多数据源的,其中就包括了 HBase,但是内置的读取数据源还是使用了 TableInputFormat 来读取 HB 阅读全文
posted @ 2020-06-04 10:29 大码王 阅读(668) 评论(0) 推荐(0) 编辑
Spark SQL入门到实战之(4)spark企业运用
摘要:Spark SQL 1、Spark SQL 是 Spark 的一个模块,可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。 2、Spark SQL 的特点: (1)和 Spark Core 的无缝集成,可以在写整个 RDD 应用的时候 阅读全文
posted @ 2020-05-29 18:27 大码王 阅读(458) 评论(0) 推荐(0) 编辑
Spark SQL入门到实战之(3)sparkSql从入门到实战
摘要:第1章 Spark SQL 概述 1.1 什么是 Spark SQL Spark SQL:http://spark.apache.org/sql/ Spark SQL 是 Spark 用来处理结构化数据的一个模块,它提供了一个编程抽象叫做 DataFrame,并且作为分布式 SQL 查询引擎的作用。 阅读全文
posted @ 2020-05-29 18:05 大码王 阅读(908) 评论(0) 推荐(0) 编辑
SSpark SQL入门到实战之(2)park SQL深度理解篇:模块实现、代码结构及执行流程总览
摘要:问题导读 1、如何理解SQL Core? 2、RDD支持的第三方格式有哪些? 3、SQLContext如何对sql执行解析? 摘要 本文作者整理了对Spark SQL各个模块的实现情况、代码结构、执行流程情况以及分享了对Spark SQL的理解,无论是从源码实现,还是从Spark SQL实际使用角度 阅读全文
posted @ 2020-05-27 16:38 大码王 阅读(510) 评论(0) 推荐(0) 编辑
Spark SQL入门到实战之(1)深度理解篇:模块实现、代码结构及执行流程总览
摘要:问题导读1、什么是Catalyst?2、对Hive的兼容支持将转移到什么上?3、TreeNode具备哪些对节点的操作方法?摘要:本文作者整理了对Spark SQL各个模块的实现情况、代码结构、执行流程情况以及分享了对Spark SQL的理解,无论是从源码实现,还是从Spark SQL实际使用角度,这 阅读全文
posted @ 2020-05-27 16:26 大码王 阅读(640) 评论(0) 推荐(0) 编辑

复制代码