2019年12月31日
MapReduce运行原理详解
摘要： 1、MapReduce简介¶ 定义:MapReduce是一个用于处理海量数据的分布式计算框架。 特点:数据分布式存储（HDFS）、作业调度（任务分配、进出规则）、容错（故障处理）、机器间通信（服务器通信协调）等。 举个简单的例子：比如说有一堆钞票，面值大小为10 50 100，103个人来统计各种面 阅读全文
posted @ 2019-12-31 18:03 雨中漫步人生 阅读(689) 评论(0) 推荐(0)
hive之insert导入分区数据
摘要： 数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区。 1、分区参数介绍¶ hive.exec.dynamic.par 阅读全文
posted @ 2019-12-31 16:31 雨中漫步人生 阅读(18586) 评论(0) 推荐(0)