随笔分类 -  hive

关于hive的使用入门和小技巧
摘要:hive的转义符在windows里是,\\在linux是\,要特别注意,之前没想到这槽,浪费了好多时间,说起来都是泪啊 阅读全文
posted @ 2020-04-17 16:23 站在云端看世界 阅读(2650) 评论(0) 推荐(0)
摘要:1.简述 Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需 阅读全文
posted @ 2020-01-08 10:43 站在云端看世界 阅读(763) 评论(0) 推荐(0)
摘要:https://mp.weixin.qq.com/s?src=11&timestamp=1585114892&ver=2237&signature=Lk2sAwtr2YRwgCdaogk8ZKVyl6iBDy6tEgRStNoZDoWi3meswFbkAj13N4DTOE3VNswdOt4Z*WIh 阅读全文
posted @ 2019-11-29 11:37 站在云端看世界 阅读(423) 评论(0) 推荐(0)
摘要:最近在做es集群的海量数据写入,公司的数据量比较大,日均增量达到了5亿+,有将近150G的数据,这对es来说,如果用默认的设置和常规的写入简直无法完成,哪怕写进去了,也是大量重复,数据丢失,基本写不进去。 es的写入方式有很多种,可以通过logstach直接写入,可以通过api接口写入,也可以通过s 阅读全文
posted @ 2019-08-15 15:25 站在云端看世界 阅读(4464) 评论(0) 推荐(0)
摘要:该函数可以支持hive调用java的内置函数, demo,可支持在hive表中生成uuid, 还可以通过传字段生成求最大值等 可以说有了该函数,hive和java之间简直畅通无阻,之前不知道有这么个函数,走了很多冤路。 有了它,妈妈再也不用担心我搞不定任务大数据BI问题了,一个可以让领导也放心的函数 阅读全文
posted @ 2019-08-09 16:29 站在云端看世界 阅读(2389) 评论(1) 推荐(0)