大数据技术派

摘要： 1. 创建表 create table语句遵从sql语法习惯，只不过Hive的语法更灵活。例如，可以定义表的数据文件存储位置，使用的存储格式等。 create table if not exists test.user1( name string comment 'name', salary flo 阅读全文

摘要： 一直想写一篇介绍设计模式的文章，让读者可以很快看完，而且一看就懂，看懂就会用，同时不会将各个模式搞混。自认为本文还是写得不错的😂😂😂，花了不少心思来写这文章和做图，力求让读者真的能看着简单同时有所收获。 设计模式是对大家实际工作中写的各种代码进行高层次抽象的总结，其中最出名的当属 Gang o 阅读全文

摘要： 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 Hive 中的四种排序 排序操作是一个比较常见的操作，尤其是在数据分析的时候，我们往往需要对数据进行排序，hive 中和排序相关的有四个关键字，今天我们就看一下，它们都是什么作用。 数据准备 下面我们有一份温度数据,tab 分割 2008 阅读全文

摘要： 本文大纲 UDF 简介 Hive作为一个sql查询引擎，自带了一些基本的函数，比如count(计数)，sum(求和)，有时候这些基本函数满足不了我们的需求，这时候就要写hive hdf(user defined funation)，又叫用户自定义函数。编写Hive UDF的步骤： 添加相关依赖，创建 阅读全文

摘要： Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hi 阅读全文

摘要： Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hi 阅读全文

摘要： 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 一. Sqoop介绍 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到 阅读全文

摘要： Hive系列文章 Hive表的基本操作 Hive中的集合数据类型 Hive动态分区详解 hive中orc格式表的数据导入 Java通过jdbc连接hive 通过HiveServer2访问Hive SpringBoot连接Hive实现自助取数 hive关联hbase表 Hive udf 使用方法 Hi 阅读全文

摘要： 关注公众号：大数据技术派，回复: 资料，领取1024G资料。 hive作为一个sql查询引擎，自带了一些基本的函数，比如count(计数)，sum(求和)，有时候这些基本函数满足不了我们的需求，这时候就要写hive hdf(user defined funation)，又叫用户自定义函数。 UDF 阅读全文

摘要： 除了使用础的数据类型string等，Hive中的列支持使用struct, map, array集合数据类型。 数据类型 描述 语法示例 STRUCT 和C语言中的struct或者"对象"类似，都可以通过"点"符号访问元素内容。 struct{'John', 'Doe'} MAP MAP是一组键-值对 阅读全文