米兰的小铁將

摘要： 一、导入数据进hive表1、语法LOAD DATA [LOCAL] INPATH 'filepath'[OVERWRITE] INTO TABLE tablename[PARTITION (partcol1=val1,partcol2=val2...)]##* 原始文件的存储位置 *在本地要写local *在HDFS不用写local* ‘filepath’ 文件路径要加引号* 对表的数... 阅读全文

摘要： 一、背景#########分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成更小的数据集。在查询时通过WHERE子句中的表达式来选择查询所需要的指定的分区，这样的查询效率会提高很多。#########在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫... 阅读全文