摘要： 一、DataFrame：有列名的RDD 首先，我们知道SparkSQL的目的是用sql语句去操作RDD，和Hive类似。SparkSQL的核心结构是DataFrame，如果我们知道RDD里面的字段，也知道里面的数据类型，就好比关系型数据库里面的一张表。那么我们就可以写SQL，所以其实这儿我们是不能用 阅读全文

摘要： 一、前述 1、SparkSQL介绍 Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。 SparkSQL支持查询原生的RDD。 RDD是Spark平台的核心概念，是Spark能够高效的处理大数据的各种场景的基础。 能够在Sca 阅读全文

摘要： There are 2 missing blocks. The following files may be corrupted： 步骤1，检查文件缺失情况 可以看到， blk_1074785806 /var/log/yarn_hislog/yarn/apps/root/logs/applicati 阅读全文

摘要： 1.环境 Mysql 5.6 Sqoop 1.4.6 Hadoop 2.5.2 HBase 0.98 Elasticsearch 2.3.5 2.安装（略过） 3.HBase Coprocessor实现 HBase Observer ES方法 打包并上传到hdfs 4.创建HBase表，并启用Cop 阅读全文

摘要： 第一种. 常见的解析,直接将json字符串解析为对应的类. 第二种. 泛型解析,这里做个笔记,因为有点不好记 阅读全文

摘要： UDF是SQL中很常见的功能，但在Spark-1.6及之前的版本，只能创建临时UDF，不支持创建持久化的UDF，除非修改Spark源码。从Spark-2.0开始，SparkSQL终于支持持久化的UDF。讲解SparkSQL中使用UDF和底层实现的原理。 1. 临时UDF 创建和使用方法: 实现原理， 阅读全文

摘要： 背景： 在写这篇博文前，自己一直没有弄明白一个问题，“在 Map 函数和 Reduce 函数中使用 System.out.print 打印日志时，输出内容在哪里显示？”。试了好多回，在 log/* 目录下找了很久都没有找到，并且尝试了很多次去找，都没有成功。这让我想通过此方法调试 Map/Reduc 阅读全文

摘要： 此时注册的方法 只能在sql()中可见，对DataFrame API不可见 示例： 2）调用spark.sql.function.udf()方法 此时注册的方法，对外部可见 示例： 阅读全文

摘要： 本章将介绍Scala访问修饰符。包，类或对象的成员可以使用私有(private)和受保护(protected)的访问修饰符进行标注，如果不使用这两个关键字的其中一个，那么访问将被视为公开(public)的。这些修饰符限制了对某些代码区域的成员访问。要使用访问修饰符，请将其关键字包含在包，类或对象的成 阅读全文

摘要： 变量是保存存储值的内存位置的名称。这意味着当创建变量时，可以在内存中保留一些空间。 根据变量的数据类型，编译器分配内存并决定可以存储在预留内存中的内容。因此，通过为变量分配不同的数据类型，可以在这些变量中存储整数，小数或字符。 变量声明 Scala具有用于声明变量的不同语法。它们可以被定义为值，即常 阅读全文