摘要：
hive 存储格式有很多，但常用的一般是 TextFile、ORC、Parquet 格式，在我们单位最多的也是这三种 hive 默认的文件存储格式是 TextFile。 除 TextFile 外的其他格式的表不能直接从本地文件导入数据，要先导入到 TextFile 格式的表中，再从表中用 inser 阅读全文
摘要：
HDFS 合并多个文件的命令有如下几种，可根据场景使用： 1、直接将本地的文件合并追加到HDFS的文件 hdfs dfs -appendToFile sourceLocalFiles(*) /targetPath/targetFile 2、合并文件到本地，然后再传HDFS hdfs dfs -get 阅读全文
摘要： 
窗口函数，全是案例，良心文章，必是精品 阅读全文
窗口函数，全是案例，良心文章，必是精品 阅读全文
摘要：
今天讲讲分区表和分桶表，前面的文章还没看的可以点击链接： hive从入门到放弃(一)——初识hive hive从入门到放弃(二)——DDL数据定义 hive从入门到放弃(三)——DML数据操作 分区 分区可以提高查询效率，实际上 hive 的一个分区就是 HDFS 上的一个目录，目录里放着属于该分区 阅读全文
摘要：
上一篇给大家介绍了 hive 的 DDL 数据定义语言，这篇来介绍一下 DML 数据操作语言。 没看过的可以点击跳转阅读： hive从入门到放弃(一)——初识hive hive从入门到放弃(二)——DDL数据定义 数据写入 数据导入部分默认数据文件格式为 textfile，每一列由‘，’进行分割，以 阅读全文
摘要：
前一篇文章，介绍了什么是 hive，以及 hive 的架构、数据类型，没看的可以点击阅读：hive从入门到放弃(一)——初识hive 今天讲一下 hive 的 DDL 数据定义 创建数据库 CREATE DATABASE [IF NOT EXISTS]① database_name [COMMENT 阅读全文
摘要：
之前更完了《Kafka从入门到放弃》系列文章，本人决定开新坑——hive从入门到放弃，今天先认识一下hive。 没看过 Kafka 系列的朋友可以点此传送阅读： 《Kafka从入门到放弃》系列 hive介绍 hive是一个开源的用于大数据分析和统计的数据库工具，它的存储基于HDFS，计算基于MapR 阅读全文
摘要：
分层架构的特点 分层架构是运用最为广泛的架构模式，经典的如B/S架构、 MVC 架构。其特点如下： 优点： 分离开发人员的关注，每个开发人员可以只关注自己所负责的层次的事情，无需过多关注其它层级的东西； 解耦，降低依赖，上层只能依赖于下层； 可复用，可以将公共的部分下沉到同一个层级，上层可以复用公共 阅读全文
摘要：
之前介绍了Kafka以及生产者，包括它的一些特性和参数，这回写一下消费者。 之前没看得可以点击链接阅读。 Kafka从入门到放弃(一) —— 初识Kafka Kafka从入门到放弃(二) —— 详说生产者 消费者与消费者组 在Kafka中消费者是消费消息的对象。假设目前有一个消费者正在消费消息，但生 阅读全文
摘要：
上一篇对Kafka做了简单介绍，还没看的朋友可以点击下方链接。 Kafka从入门到放弃(一) —— 初识别Kafka 消息中间件必须与生产者和消费者一起存在才有意义，这次先来聊聊Kafka的生产者。 在开始之前，先了解一下消息在Kafka中是如何存储的，如下图所示，一般我们称那些数字为offset（ 阅读全文