随笔分类 - sparksql
spark
Spark SQL入门到实战之（8）数据倾斜优化
摘要：1.自定义UDF 1、依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in
阅读全文
Spark SQL入门到实战之（7）spark连接hive（spark-shell和eclipse两种方式）
摘要：1、在服务器（虚拟机）spark-shell连接hive 1.1 将hive-site.xml拷贝到spark/conf里 cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-2.2.1-bin-hadoop2.7/conf/ 1.
阅读全文
Spark SQL入门到实战之（6）Spark Sql 连接mysql
摘要：1、基本概念和用法（摘自spark官方文档中文版） Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时，应该首选 JdbcRDD。这是因为结果是以数据框（DataFrame）返回的，且这样 Spark SQL操作轻松或便于连接其它数据源。
阅读全文
Spark SQL入门到实战之（5）使用 Spark SQL 高效地读写 HBase
摘要：Apache Spark 和 Apache HBase 是两个使用比较广泛的大数据组件。很多场景需要使用 Spark 分析/查询 HBase 中的数据，而目前 Spark 内置是支持很多数据源的，其中就包括了 HBase，但是内置的读取数据源还是使用了 TableInputFormat 来读取 HB
阅读全文
Spark SQL入门到实战之（4）spark企业运用
摘要：Spark SQL 1、Spark SQL 是 Spark 的一个模块，可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。 2、Spark SQL 的特点： （1）和 Spark Core 的无缝集成，可以在写整个 RDD 应用的时候
阅读全文
Spark SQL入门到实战之（3）sparkSql从入门到实战
摘要：第1章 Spark SQL 概述 1.1 什么是 Spark SQL Spark SQL：http://spark.apache.org/sql/ Spark SQL 是 Spark 用来处理结构化数据的一个模块，它提供了一个编程抽象叫做 DataFrame，并且作为分布式 SQL 查询引擎的作用。
阅读全文
SSpark SQL入门到实战之（2）park SQL深度理解篇：模块实现、代码结构及执行流程总览
摘要：问题导读 1、如何理解SQL Core？ 2、RDD支持的第三方格式有哪些？ 3、SQLContext如何对sql执行解析？ 摘要 本文作者整理了对Spark SQL各个模块的实现情况、代码结构、执行流程情况以及分享了对Spark SQL的理解，无论是从源码实现，还是从Spark SQL实际使用角度
阅读全文
Spark SQL入门到实战之（1）深度理解篇：模块实现、代码结构及执行流程总览
摘要：问题导读1、什么是Catalyst？2、对Hive的兼容支持将转移到什么上？3、TreeNode具备哪些对节点的操作方法？摘要：本文作者整理了对Spark SQL各个模块的实现情况、代码结构、执行流程情况以及分享了对Spark SQL的理解，无论是从源码实现，还是从Spark SQL实际使用角度，这
阅读全文