peculiar- - 博客园

2024年5月15日

摘要： MapReduce思考问题（每一个都算面试题） Q1、map数量数越多越好吗？不是，因为产生map任务是需要资源和时间，map任务越多，占用的资源和时间越多 Q2、hdfs是否适合存储小文件（MR角度出发）不适合，小文件一多，意味着block块就多了，切片split也就多了，这样产生的map数量阅读全文

posted @ 2024-05-15 19:49 peculiar- 阅读(43) 评论(0) 推荐(0)

MapReduce流程

posted @ 2024-05-15 17:04 peculiar- 阅读(35) 评论(0) 推荐(0)

HDFS写数据微观流程

摘要： Hadoop高可用架构高可用架构有两个NameNode节点，一个是ActiveNameNode（ANN），一个是StandbyNameNode（SNN），高可用框架中只有一个活跃的NameNode节点，但是备用SNN会持续关注整个集群，并每隔一段时间向JournalNode集群同步日志，SNN也会阅读全文

posted @ 2024-05-15 16:47 peculiar- 阅读(21) 评论(0) 推荐(0)

HDFS写数据宏观流程

摘要： HDFS写数据宏观流程客户端使用rpc通信框架向NameNode发送请求，NameNode接收并处理用户请求，同时检测用户是否拥有上传文件操作的权限。磁盘空间是否可用，路径是否存在， NameNode会针对这个文件创建一个空的Entry对象，并返回成功的状态给DFS，如果DFS接收到成功的状态，阅读全文

posted @ 2024-05-15 16:28 peculiar- 阅读(17) 评论(0) 推荐(0)

2024年5月11日

Hive中sql语句是如何转换成MapReduce的（面试题）

摘要： Hive中的sql语句是如何转化成MR任务的（面试）元数据存储在数据库中，默认存在自己自带的derby数据库中（derby在Hive启用的时候会占用元数据库，且数据不会共享给客户端，所以1一次只能有一个客户端使用，开了另一个客户端就会连接不上） 1)、解析器（SQL Parser）：将SQL字符串阅读全文

posted @ 2024-05-11 10:19 peculiar- 阅读(239) 评论(0) 推荐(0)

Hive自定义函数

摘要： Hive自定义函数（UDF，UDTF，UDAF）一UDF：一进一出 1、先创建maven项目并下载依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> <version>1.2.1 阅读全文

posted @ 2024-05-11 10:18 peculiar- 阅读(236) 评论(0) 推荐(0)

Hive优化

摘要： hive优化 1、hive的随机抓取策略 hive中的sql都应该经过解析器，编译器，优化器和执行器产生mapreduce作业进行处理，但是在我们使用过程中，对于一些进行查询之类的任务的时候并没有产生mapreduce任务进行处理，这是因为hive的抓取策略帮我们省略了这个步骤，将split切片的过阅读全文

posted @ 2024-05-11 10:17 peculiar- 阅读(64) 评论(0) 推荐(0)

Hive安装与搭建

摘要： Hive安装搭建 1、上传解压配置环境变量 # 1、解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /usr/soft/ # 2、重名名 mv apache-hive-3.1.2-bin hive-3.1.2 # 3、配置环境变量 vim /etc/prof 阅读全文

posted @ 2024-05-11 10:16 peculiar- 阅读(52) 评论(0) 推荐(0)

Hive基础命令

摘要： Hive基本操作 1、Hive库操作 1）创建一个数据库，数据库在HDFS上的默认存储路径是/hive/warehouse/*.db create database testdb; 2)避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法） create database 阅读全文

posted @ 2024-05-11 10:15 peculiar- 阅读(816) 评论(0) 推荐(0)

HBase API

摘要： HBase Java API <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <!-- https://mvnrepository.c 阅读全文

posted @ 2024-05-11 10:14 peculiar- 阅读(23) 评论(0) 推荐(0)

公告