随笔分类 -  hive

hive 优化 sqoop常用命令
摘要：http://blog.csdn.net/chenyi8888/article/details/7254103主要是group byhttp://www.cnblogs.com/cenyuhai/archive/2013/09/06/3306037.htmlsqoop常用命令，可以导入到hbase，... 阅读全文
posted @ 2014-09-20 11:33 jseven 阅读(541) 评论(0) 推荐(0)
HIVE RCFile高效存储结构
摘要：本文介绍了Facebook公司数据分析系统中的RCFile存储结构，该结构集行存储和列存储的优点于一身，在 MapReduce环境下的大规模数据分析中扮演重要角色。Facebook曾在2010 ICDE（IEEE International Conference on Data Engineerin... 阅读全文
posted @ 2014-08-10 09:57 jseven 阅读(275) 评论(0) 推荐(0)
hive 常用UDF
摘要：Hive UDF整理(可以直接在mysql上测试，hive中没有伪表，需要手动创建，反应慢)字符串函数字符串长度函数：length语法: length(string A)返回值: int说明：返回字符串A的长度举例：hive> select length(‘abcedfg’) from dual;7... 阅读全文
posted @ 2014-08-08 11:23 jseven 阅读(1685) 评论(0) 推荐(0)
hive 基本原理
摘要：1、组件： 元存储（Metastore ）－存储“系统目录以及关于表、列、分区等的元数据”的组件。 驱动（Driver ）－ 控制 HiveQL 生命周期的组件，当 HiveQL 查询穿过 Hive时。该驱动管理着会话句柄以及任何会话的统计。 查... 阅读全文
posted @ 2014-08-07 09:24 jseven 阅读(323) 评论(0) 推荐(0)
hive 多个key需要 group by
摘要：请问下,如果有多个统计，要统计的数据都一样，每个统计只是group by 的key不一样，怎样做，才能让这些统计最快完成？ 恩，比如有10个统计，每个统计都是读取的同一份数据，但是统计的维度不一样，就是groupby的key不一样你们都是怎么处理的？语句类似这个：： from( selectk1,k... 阅读全文
posted @ 2014-08-05 13:29 jseven 阅读(2328) 评论(0) 推荐(0)
连续时间查询问题-查询一个用户连续登陆天数超过N天的用户
摘要：问题：比如查询一个用户连续登陆天数超过7天的用户，或者查询连续在7天的某个时间段登陆的用户。 网上查询sql的语句的用法，对于hive来说也可以试试，查询词"SQL 连续天数查询" 如果使用hadoop如何解决？？ 思路（以连续N天登陆为例）： 1、计算出每天登陆的用户集合 1、使... 阅读全文
posted @ 2014-08-05 09:42 jseven 阅读(1656) 评论(0) 推荐(0)
sqoop从mysql导入到hdfs
摘要：1、mysql-- 创建数据库create database logs;-- 使用use logs;-- 创建表create table weblogs(md5varchar(32),urlvarchar(64),request_datedate,request_timetime,ipvarchar... 阅读全文
posted @ 2014-07-28 11:47 jseven 阅读(762) 评论(0) 推荐(0)
hive优化
摘要：1、列裁剪select a,b from t where e < 10;设置参数：hive.optimize.cp = true2、分区裁剪select * from (select c1,count(1) from t group by c1) subqwhere subq.prtn = 100;... 阅读全文
posted @ 2014-07-28 11:42 jseven 阅读(407) 评论(0) 推荐(0)
java 操作hive通过jdbc
摘要：直接代码吧：记得要开启hive jdbc服务hive --service hiveserverpackage hive;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import ... 阅读全文
posted @ 2014-07-28 11:41 jseven 阅读(513) 评论(0) 推荐(0)
hive操作DML
摘要：-- 向数据表中加载文件，不会对数据进行任何转换，load操作只是复制（本地到hdfs）、移动(hdfs上的文件)-- 如果表包含分区，则必须指定每个分区的分区名，filepath可以引用一个文件或一个目录-- 如果数据在hdfs上，且filepath不是绝对的，则hive会相对于/user/进行解... 阅读全文
posted @ 2014-07-28 11:39 jseven 阅读(493) 评论(0) 推荐(0)
hive操作DDL
摘要：作为参考即可。在cmd下使用$hive -f 指定hive脚本文件$hive -e 'select * from test_change' 在cmd里执行hive语句在hive里面hive>source file_name 执行hive脚本文件-- 删除表drop table if exists t... 阅读全文
posted @ 2014-07-28 11:38 jseven 阅读(446) 评论(0) 推荐(0)
hive 自我介绍
摘要：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据... 阅读全文
posted @ 2014-07-21 14:55 jseven 阅读(207) 评论(0) 推荐(0)
hive学习系列2——环境安装
摘要：1、hive的安装 (1)解压缩、重命名、设置环境变量，参考hadoop1学习系列2 (2)在目录$HIVE_HOME/conf/下，执行命令mv hive-default.xml.template hive-site.xml重命名 在目录$HIVE_HOME/conf/下，执行命令mv hive-... 阅读全文
posted @ 2014-06-13 23:26 jseven 阅读(171) 评论(0) 推荐(0)
hive学习系列1——Mysql安装
摘要：安装mysql (1)执行命令rpm -qa |grep mysql 查看mysql是否安装 删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx(查看的库名,可使用右键复制) --nodeps 执行命令rpm -qa |grep mysql 检查是否删除干净 (2)执行命令... 阅读全文
posted @ 2014-06-13 23:23 jseven 阅读(174) 评论(0) 推荐(0)