strongmore

2023年6月2日

摘要： ### WordCount程序这个需求就是类似于我们在学习MapReduce的时候写的案例需求这样的：读取文件中的所有内容，计算每个单词出现的次数注意：由于Spark支持Java、Scala这些语言，目前在企业中大部分公司都是使用Scala语言进行开发，个别公司会使用java进行开发，为了加深阅读全文

posted @ 2023-06-02 07:07 strongmore 阅读(101) 评论(0) 推荐(0)

Spark详解

摘要： ### 什么是Spark Spark是一个用于大规模数据处理的统一计算引擎注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，所以说它是一个统一的计算引擎既然说到了Spark，那就不得不提一下Spark里面最重要的阅读全文

posted @ 2023-06-02 06:50 strongmore 阅读(862) 评论(0) 推荐(0)

2023年6月1日

Scala语言入门

摘要： ### 为什么要学习Scala语言 - 最直接的一点就是因为我们后面要学的Spark框架需要用到Scala这门语言，但是Spark其实是同时支持Scala语言和Java语言的，为什么非要学Scala呢，使用java难道不香吗？ - 这就要说第二点了：scala相比java代码量更少，更适合函数式编程阅读全文

posted @ 2023-06-01 20:48 strongmore 阅读(94) 评论(0) 推荐(0)

Hbase入门

摘要： ### Hbase简介 Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言。Hbase是一种分布式存储的数据库，技术上来讲，它更像是分布式存储而不是分布式数据库，它缺少很多RDBMS系统的特性，比如列类型，辅助索引，触发器，和高级查询语言等待。那Hbas 阅读全文

posted @ 2023-06-01 14:22 strongmore 阅读(81) 评论(0) 推荐(0)

Hive扩展内容

摘要： ### 一个SQL语句的分析 ```sql SELECT a.Key, SUM(a.Cnt) AS Cnt FROM ( SELECT Key, COUNT(*) AS Cnt FROM TableName GROUP BY Key, CASE WHEN Key = 'KEY001' THEN Ha 阅读全文

posted @ 2023-06-01 11:27 strongmore 阅读(58) 评论(0) 推荐(0)

Hive高级函数实战

摘要： ### 函数的基本操作和mysql一样的，hive也是一个主要做统计的工具，所以为了满足各种各样的统计需要，它也内置了相当多的函数 ```sql show functions; # 查看所有内置函数 desc function functionName; # 查看指定函数的描述信息 desc fu 阅读全文

posted @ 2023-06-01 11:12 strongmore 阅读(128) 评论(0) 推荐(0)

Flume高级组件

摘要： ### Event Event是Flume传输数据的基本单位，也是事务的基本单位，在文本文件中，通常一行记录就是一个Event Event中包含header和body； - body是采集到的那一行记录的原始内容 - header类型为Map，里面可以存储一些属性信息，方便后面使用我们可以在Sou 阅读全文

posted @ 2023-06-01 08:00 strongmore 阅读(341) 评论(0) 推荐(0)

Flume详解

摘要： ### 什么是Flume Flume是一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统，能够有效的收集、聚合、移动大量的日志数据。通俗一点来说就是Flume是一个很靠谱，很方便、很强的日志采集工具。它是目前大数据领域数据采集最常用的一个框架为什么它这么香呢？主要是因为使用Flume采集阅读全文

posted @ 2023-06-01 07:30 strongmore 阅读(431) 评论(0) 推荐(0)

2023年5月31日

Hive中的表类型

摘要：在MySQL中没有表类型这个概念，因为它就只有一种表。但是Hive中是有多种表类型的，我们可以分为四种，内部表、外部表、分区表、桶表下面来一个一个学习一下这些类型的表 ### 内部表内部表也可以称为受控表，它是Hive中的默认表类型，表数据默认存储在 warehouse 目录中。在加载数据的过阅读全文

posted @ 2023-05-31 22:05 strongmore 阅读(332) 评论(0) 推荐(0)

Hive核心实战

摘要： ### Hive中数据库的操作 ```sql show databases; # 查看数据库列表 use default; # 选择数据库 create database mydb1; # 创建数据库 create database mydb2 location '/user/hive/mydb2' 阅读全文

posted @ 2023-05-31 22:00 strongmore 阅读(232) 评论(0) 推荐(0)

怕什么真理无穷，进一寸有一寸的欢喜。

公告