随笔分类 - Hive
摘要：重命名表 1．语法 ALTER TABLE table_name RENAME TO new_table_name 2．实操案例 hive (default)> alter table dept_partition2 rename to dept_partition3; 增加、修改和删除表分区 详见
阅读全文
摘要：分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。 分区表基本操作 1．引入分区表（需要根据日
阅读全文
摘要：1．建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (c
阅读全文
摘要：用户可以使用ALTER DATABASE命令为某个数据库的DBPROPERTIES设置键-值对属性值，来描述这个数据库的属性信息。数据库的其他元数据信息都是不可更改的，包括数据库名和数据库所在的目录位置。 hive (default)> alter database db_hive set dbpr
阅读全文
摘要：1．删除空数据库 hive>drop database db_hive2; 2．如果删除的数据库不存在，最好采用 if exists判断数据库是否存在 hive> drop database db_hive; FAILED: SemanticException [Error 10072]: Data
阅读全文
摘要：显示数据库 1．显示数据库 hive> show databases; 2．过滤显示查询的数据库 hive> show databases like 'db_hive*'; OK db_hive db_hive_1 查看数据库详情 1．显示数据库信息 hive> desc database db_h
阅读全文
摘要：CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)];
阅读全文
摘要：基本数据类型 Hive数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20 BOOLEAN boolean
阅读全文
摘要：1．退出hive窗口： hive(default)>exit; hive(default)>quit; 在新版的hive中没区别了，在以前的版本是有的： exit:先隐性提交数据，再退出； quit:不提交数据，退出； 2．在hive cli命令窗口中如何查看hdfs文件系统 hive(defaul
阅读全文
摘要：Hive数据仓库位置配置 1）Default数据仓库的最原始位置是在hdfs上的：/user/hive/warehouse路径下。 2）在仓库目录下，没有对默认的数据库default创建文件夹。如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹。 3）修改default数据仓库原
阅读全文
摘要：[atguigu@hadoop102 hive]$ bin/hive -help usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A
阅读全文
摘要：启动hiveserver2服务 [atguigu@hadoop102 hive]$ bin/hiveserver2 启动beeline [atguigu@hadoop102 hive]$ bin/beeline Beeline version 1.2.1 by Apache Hive beeline
阅读全文
摘要：驱动拷贝 1．在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包 [root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz 2
阅读全文
摘要：安装包准备 1．查看mysql是否安装，如果安装了，卸载mysql （1）查看 [root@hadoop102 桌面]# rpm -qa|grep mysql mysql-libs-5.1.73-7.el6.x86_64 （2）卸载 [root@hadoop102 桌面]# rpm -e --nod
阅读全文
摘要：1．Hive官网地址 http://hive.apache.org/ 2．文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3．下载地址 http://archive.apache.org/dist/hive
阅读全文
摘要：由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但
阅读全文
摘要：1．用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive） 2．元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表
阅读全文
摘要：优点 1) 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 2) 避免了去写MapReduce，减少开发人员的学习成本。 3) Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。 4) Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执
阅读全文
摘要：Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapR
阅读全文
浙公网安备 33010602011771号