随笔分类 -  hive

摘要:1.安装和配置: 1.1可以通过这个下载链接去下载hive源码来安装一个一个稳定版本的hive。https://cwiki.apache.org/confluence/display/Hive/GettingStarted# (1)要求:Hive1.2以及以后的版本需要hive 阅读全文
posted @ 2019-07-04 14:02 stone1234567890 阅读(258) 评论(0) 推荐(0)
摘要:1.Mapreduce是一种计算模型,将计算任务分割成多个可以在服务器集群中并行执行的任务,然后分散到一群家用的或者服务器级别的硬件机器上,从而降低成本并提供水平可伸缩性。 2.mapreduce的两个基本操作: (1)map操作:将集合中的元素从一种形式转换为另一种形式,输入的键值对会被转换成零到 阅读全文
posted @ 2019-03-19 21:32 stone1234567890 阅读(197) 评论(0) 推荐(0)
摘要:Hive 最常见的几个面试题 1.hive 的使用, 内外部表的区别,分区作用, UDF 和 Hive 优化(1)hive 使用:仓库、工具(2)hive 内部表:加载数据到 hive 所在的 hdfs 目录,删除时,元数据和数据文件都删除 外部表:不加载数据到 hive 所在的 hdfs 目录,删 阅读全文
posted @ 2018-07-16 15:47 stone1234567890 阅读(11861) 评论(0) 推荐(0)
摘要:一、UDF 1.显示所有函数:show functions ; 2.显示指定函数的帮助:$hive>desc function current_database(); 3. 什么是 UDF? 当 Hive 提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF: user 阅读全文
posted @ 2018-07-16 15:42 stone1234567890 阅读(586) 评论(0) 推荐(0)
摘要:事务的四个特性 1.automicity:原子性 2.consistency:一致性 3. isolation:独立性 4.durability:持久性 5.支持事务有几个条件需要满足:1.所有的事务都支持自动提交;2.只支持ORC格式的数据;3.桶表 7.配置hive的参数使其支持事务: 在hiv 阅读全文
posted @ 2018-07-16 09:34 stone1234567890 阅读(5811) 评论(0) 推荐(0)
摘要:Hive 是什么? 1.Hive 是基于 Hadoop处理结构化数据的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL 查询功能。 2.Hive 利用 HDFS 存储数据,利用MapReduce 查询分析数据。本质是将 SQL 转换为 MapReduce 程序,比直接用 阅读全文
posted @ 2018-07-15 15:42 stone1234567890 阅读(1001) 评论(0) 推荐(0)