12 2019 档案

摘要:1、MapReduce简介¶ 定义:MapReduce是一个用于处理海量数据的分布式计算框架。 特点:数据分布式存储(HDFS)、作业调度(任务分配、进出规则)、容错(故障处理)、机器间通信(服务器通信协调)等。 举个简单的例子:比如说有一堆钞票,面值大小为10 50 100,103个人来统计各种面 阅读全文
posted @ 2019-12-31 18:03 雨中漫步人生
摘要:数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间,主要包括两种分区形式:水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区,一般是通过对表的垂直划分来减少目标表的宽度,常用的是水平分区。 1、分区参数介绍¶ hive.exec.dynamic.par 阅读全文
posted @ 2019-12-31 16:31 雨中漫步人生
摘要:定时器功能:设置任务定时运行。如循环运行某项程序、定期备份数据等。 1、查看自启动状态 查看Crond的开启自启动服务是否开启(systemctl is-enabled crond.service) 另一种方式查看systemctl list-unit-files | grep enable 启动命 阅读全文
posted @ 2019-12-24 22:02 雨中漫步人生