打赏

随笔分类 -  Hadoop Hive概念学习系列

摘要:Hive文件存储格式包括以下几类: 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE 其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 SEQUENCEFILE,RCFILE,ORCFILE格式 阅读全文
posted @ 2016-11-26 11:03 大数据和AI躺过的坑 阅读(7061) 评论(0) 推荐(0)
摘要:说在前面的话 hive的正则表达式,是非常重要!作为大数据开发人员,用好hive,正则表达式,是必须品! Hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此,特意做了个hive正则表达式的小结。所有代码都经过亲测,正常运行。 1.regexp 语法: A REGEXP B 操 阅读全文
posted @ 2016-11-25 19:35 大数据和AI躺过的坑 阅读(24476) 评论(1) 推荐(0)
摘要:说在前面的话 以下三种情况,最好是在3台集群里做,比如,master、slave1、slave2的master和slave1都安装了hive,将master作为服务端,将slave1作为服务端。 以下,是针对CentOS版本的,若是Ubuntu版本,见我的博客 Ubuntu系统下安装并配置hive- 阅读全文
posted @ 2016-11-25 15:19 大数据和AI躺过的坑 阅读(4597) 评论(0) 推荐(0)
摘要:原博文出自于:http://blog.csdn.net/longzilong216/article/details/23921235(暂时) 感谢! 自己写代码时候的利用到的模板 UDF步骤: 1.必须继承org.apache.hadoop.hive.ql.exec.UDF 2.必须实现evalua 阅读全文
posted @ 2016-11-09 12:19 大数据和AI躺过的坑 阅读(3620) 评论(0) 推荐(1)
摘要:原博文出自于: http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/3/ 感谢! Posted: Jul 16, 2013 Tags: HadoophiveHiveQLsql分区表 Comments: 18 Comments H 阅读全文
posted @ 2016-11-07 17:55 大数据和AI躺过的坑 阅读(790) 评论(0) 推荐(0)
摘要:原博文出自于: http://blog.fens.me/hadoop-hive-10g/ 感谢! Hive导入10G数据的测试 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务。 现在硬件越来越便宜,一台非品 阅读全文
posted @ 2016-11-07 16:22 大数据和AI躺过的坑 阅读(1901) 评论(0) 推荐(0)
摘要:原文博客出自于:http://blog.fens.me/hadoop-hive-roadmap/ 感谢! Hive学习路线图 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, 阅读全文
posted @ 2016-11-07 16:17 大数据和AI躺过的坑 阅读(757) 评论(0) 推荐(0)
摘要:原文来自: http://blog.csdn.net/zhumin726/article/details/8027802 1 HIVE概述 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,HIVE的设计,可以轻松实现数据汇总,ad-hoc查询和分析大量的数据。 阅读全文
posted @ 2016-11-03 21:07 大数据和AI躺过的坑 阅读(523) 评论(0) 推荐(0)
摘要:原文来自: http://blog.csdn.net/zhumin726/article/details/8027802 1 HIVE概述 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,HIVE的设计,可以轻松实现数据汇总,ad-hoc查询和分析大量的数据。 阅读全文
posted @ 2016-11-03 20:23 大数据和AI躺过的坑 阅读(791) 评论(0) 推荐(0)
摘要:参考 《Hadoop大数据分析与挖掘实战》的在线电子书阅读 http://yuedu.baidu.com/ebook/d128cf8e33687e21ae45a935?pn=1&click_type=10010002 Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的 阅读全文
posted @ 2016-10-11 22:25 大数据和AI躺过的坑 阅读(1120) 评论(0) 推荐(0)
摘要:本博文的主要内容如下: .hive的详细官方手册 .hive支持的数据类型 .Hive Shell .Hive工程所需依赖的jar包 .hive自定义函数 .分桶4 .附PPT hive的详细官方手册 http://hive.apache.org/ https://cwiki.apache.org/ 阅读全文
posted @ 2016-10-11 15:54 大数据和AI躺过的坑 阅读(3775) 评论(0) 推荐(0)