hadoop - 文章分类 - dongdongag

六、Hive SQL

摘要：一、Hive SQL建库数据库database 在Hive中，默认的数据库叫做default，存储数据位置位于HDFS的/user/hive/warehouse下。用户自己创建的数据库存储位置是/user/hive/warehouse/database_name.db下。 create datab 阅读全文

posted @ 2022-10-05 14:53 dongdongag 阅读(114) 评论(0) 推荐(0)

五、Hive概述与安装

摘要：一、Hive概述 Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。 Hive核心阅读全文

posted @ 2022-10-04 11:54 dongdongag 阅读(36) 评论(0) 推荐(0)

四、YARN

摘要：一、YARN介绍 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的Hadoop资源管理器。 YARN是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。它的引入为集群在利用率、资源统一管理和数据阅读全文

posted @ 2022-10-03 23:47 dongdongag 阅读(21) 评论(0) 推荐(0)

三、HDFS工作流程

摘要：一、HDFS集群角色与职责主角色：namenode NameNode是Hadoop分布式文件系统的核心，架构中的主角色。 NameNode维护和管理文件系统元数据，包括名称空间目录树结构、文件和块的位置信息、访问权限等信息。基于此，NameNode成为了访问HDFS的唯一入口。 NameNode 阅读全文

posted @ 2022-10-02 23:13 dongdongag 阅读(33) 评论(0) 推荐(0)

二、HDFS shell操作

摘要：一、简介 Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options] 文件系统协议 HDFS Shell CLI支持操作多种文件系统，包括本地文件系统（file:///）、分布式文件系统（hdfs://nn:8020）等具体操作的是什么文件系统取决阅读全文

posted @ 2022-10-02 14:52 dongdongag 阅读(26) 评论(0) 推荐(0)

一、hadoop集群搭建

摘要：一、hadoop集群简介 Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群二、hadoop集群搭建 1、机器规划: 主机角色 node130 NameNode、DataNode、ResourceManager、Node 阅读全文

posted @ 2022-10-01 11:39 dongdongag 阅读(10) 评论(0) 推荐(0)

文章分类 - hadoop