随笔分类 - Hive成长之路
学习Hive在数据分析中的应用
摘要:1、基本概念 (1)桶表是对某一列数据进行哈希取值以将数据打散,然后放到不同文件中存储。 (2)在hive分区表中,分区中的数据量过于庞大时,建议使用桶。 (3)在分桶时,对指定字段的值进行hash运算得到hash值,并使用hash值除以桶的个数做取余运算得到的值进行分桶,保证每个桶中有数据但每个桶
阅读全文
摘要:一、环境准备 1、下载Hue:https://dl.dropboxusercontent.com/u/730827/hue/releases/3.12.0/hue-3.12.0.tgz 2、安装依赖 二、MySQL配置 三、解压、编译并安装 四、集成环境配置 1、配置HDFS vim /opt/ha
阅读全文
摘要:1、 executeQuery:用户通过Hive界面(CLI/Web UI)将查询语句发送到Driver(驱动有JDBC、ODBC等)来执行; 2、 getPlan :Driver根据查询编译器解析query语句,验证query语句的语法、查询计划、查询条件; 3、 getMetaData:编译器将
阅读全文

浙公网安备 33010602011771号