摘要：
1. Tomcat 引入 1.1 功能需求 浏览器发给服务端的是一个 HTTP 格式的请求，HTTP 服务器收到这个请求后，需要调用服务端程序来处理，所谓的服务端程序就是你写的 Java 类，一般来说不同的请求需要由不同的 Java 类来处理。 那么问题来了，HTTP 服务器怎么知道要调用哪个 Ja 阅读全文
posted @ 2023-11-29 08:01
tree6x7
阅读(155)
评论(0)
推荐(0)
摘要：
# 1. DataX 概述 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（Mysql、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。 DataX 侧重于同步数据库中的数据。DataX 没有所谓版 阅读全文
posted @ 2023-08-07 23:41
tree6x7
阅读(273)
评论(0)
推荐(0)
摘要：
官网地址：http://maxwells-daemon.io/ Maxwell 是由美国 Zendesk 公司开源，使用 Java 编写的 MySQL 变更数据抓取软件。它会实时监控 Mysql 数据库的数据变更操作（包括 insert、update、delete），并将变更数据以 JSON 的格式 阅读全文
posted @ 2023-08-07 23:37
tree6x7
阅读(248)
评论(0)
推荐(0)
摘要：
# 1. 概述&入门 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。其最主要的作用就是实时读取服务器本地磁盘的数据，将数据写入到 HDFS。 
评论(0)
推荐(0)
摘要：
# 1. 分组聚合优化 ## 1.1 优化说明 Hive 中未经优化的分组聚合，是通过一个 MapReduce Job 实现的。Map 端负责读取数据，并按照分组字段分区，通过 Shuffle，将数据发往 Reduce 端，各组数据在 Reduce 端完成最终的聚合运算。 Hive 对分组聚合的优化 阅读全文
posted @ 2023-07-30 00:04
tree6x7
阅读(600)
评论(0)
推荐(0)
摘要：
# 1. Hive 表设计优化 ## 1.1 分区表 ### a. 基本查询原理 Hive 的设计思想是通过元数据将 HDFS 上的文件映射成表，基本的查询原理是当用户通过 HQL 语句对 Hive 中的表进行复杂数据处理和计算时，默认将其转换为分布式计算 MapReduce 程序对 HDFS 中的 阅读全文
posted @ 2023-07-29 23:52
tree6x7
阅读(229)
评论(0)
推荐(0)
摘要：
1. 多字节分隔符 1.1 问题与需求 【默认规则】Hive 默认序列化类是 LazySimpleSerDe，其只支持使用单字节分隔符（char）来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为”\001”。根据不同文件的不同分隔符，我们可以通过在创建表时使用 ROW FORMAT DEL 阅读全文
posted @ 2023-07-29 23:44
tree6x7
阅读(105)
评论(0)
推荐(0)
摘要：
1. Hive 内置运算符 整体上，Hive 支持的运算符可以分为三大类：关系运算、算术运算、逻辑运算。 官方参考文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用下述方式查看运算符的使用方式： - 阅读全文
posted @ 2023-07-29 23:30
tree6x7
阅读(780)
评论(0)
推荐(0)
摘要：
1. LOAD 回想一下，当在 Hive 中创建好表之后，默认就会在 HDFS 上创建一个与之对应的文件夹，默认路径是由参数 hive.metastore.warehouse.dir 控制，默认值是 /user/hive/warehouse。 要想让 Hive 的表和结构化的数据文件产生映射，就需要 阅读全文
posted @ 2023-07-29 23:19
tree6x7
阅读(160)
评论(0)
推荐(0)
摘要：
数据定义语言（Data Definition Language，DDL）是 SQL 语言集中对数据库内部的对象结构进行创建、删除、修改等的操作语言，这些数据库对象包括 database(schema)、table、view、index 等。核心语法由 CREATE、ALTER 与 DROP 三个所组 阅读全文
posted @ 2023-07-29 23:06
tree6x7
阅读(139)
评论(0)
推荐(0)
浙公网安备 33010602011771号