摘要: ## 练习1 ```SQl 2022-08-07 1,liuyan 2,tangyan 3,jinlian 4,dalang 5,ximenqing 2022-08-08 1,liuyan 2,tangyan 4,dalang 6,wusong -- 创建分区表记录每天用户登陆信息 create t 阅读全文
posted @ 2023-05-23 20:26 _泡泡 阅读(73) 评论(0) 推荐(0)
摘要: ## HQL查询 ### 查询语法 ```SQL [WITH CommonTableExpression (,CommonTableExpression)*] SELECT [ALL | DISTINCT]select_expr, select_expr,... FROM table_referen 阅读全文
posted @ 2023-05-22 20:33 _泡泡 阅读(306) 评论(0) 推荐(0)
摘要: ## 内部表和外部表 默认情况下创建的表就是内部表,Hive拥有该表的结构和文件。换句话说,Hive完全管理表(元数据和数据)的生命周期,类似于RDBMS中的表。当你删除内部表时,它会删除数据以及表的元数据。可以使用DESCRIBE FORMATTED tablename,来获取表的元数据描述信息, 阅读全文
posted @ 2023-05-21 18:48 _泡泡 阅读(236) 评论(0) 推荐(0)
摘要: ## HQL基础语法 Hive中的语句叫做HQL语句,是一种类似SQL的语句,基本上和SQL相同但是某些地方也是有很大的区别. ### 数据库操作 **创建数据库** - 1.创建一个数据库,数据库在HDFS上的默认存储路径是/hive/warehouse/*.db。 ```sql create d 阅读全文
posted @ 2023-05-20 16:24 _泡泡 阅读(251) 评论(0) 推荐(0)
摘要: ## 启动元数据服务 ```bash # 前台启动 hive --service metastore # 元数据服务会一直在前台运行,需要克隆一个session进行其他操作 或者使用ctrl+z将它挂起到后台 # 后台启动 hive --service metastore & # 在后台启动 若退出 阅读全文
posted @ 2023-05-18 19:30 _泡泡 阅读(156) 评论(0) 推荐(0)
摘要: ## 数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW。是一个用于存储,分析,报告的数据系统.数据仓库的目的是构建**面向分析**的集成化数据环境,分析结果为企业提供决策支持. ## 数据库和数据仓库区别 数据库和数据仓库的区别实际就是OLTP和OLAP的区别 OLTP系统的 阅读全文
posted @ 2023-05-17 18:44 _泡泡 阅读(121) 评论(0) 推荐(0)
摘要: 版本控制 版本控制(Revision control)是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史,方便查看更改历史记录,备份以便恢复以前的版本的软件工程技术。 1)实现跨区域多人协同开发 2)追踪和记载一个或者多个文件的历史记录 3)组织和保护你的源代码和文档 4)统计工作量 阅读全文
posted @ 2023-05-16 21:19 _泡泡 阅读(57) 评论(0) 推荐(0)
摘要: Yarn YARN被设计用以解决以往架构的需求和缺陷的资源管理和调度软件。 Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管 阅读全文
posted @ 2023-05-15 18:55 _泡泡 阅读(155) 评论(0) 推荐(0)
摘要: 文件关联 需求 order.txt order011 u001 order012 u001 order033 u005 order034 u002 order055 u003 order066 u004 order077 u010 user.txt u001,hangge,18,male,angel 阅读全文
posted @ 2023-05-14 19:15 _泡泡 阅读(26) 评论(0) 推荐(0)
摘要: JSON JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式. JSON和Java对象的转换 movie.txt {"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"} {"movie":" 阅读全文
posted @ 2023-05-13 18:21 _泡泡 阅读(27) 评论(0) 推荐(0)