2022年7月29日
mr的详细的工作流程
摘要： ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220729220216076-598810272.png) 阅读全文
posted @ 2022-07-29 22:11 jsqup 阅读(47) 评论(0) 推荐(0)
hive配置的学习
摘要： [root@node1 conf]# mv hive-env.sh.template hive-env.sh [root@node1 conf]# vi hive-env.sh export HIVE_CONF_DIR=/opt/app/hive-2.3.8/conf export HADOOP_H 阅读全文
posted @ 2022-07-29 18:35 jsqup 阅读(43) 评论(0) 推荐(0)
hadoop的企业优化
摘要： 1. Mapreduce 1. 计算机性能 CPU、内存、磁盘、网络 2. IO操作优化 (1)数据倾斜 (2)Map和Reduce数设置不合理 (3)Map运行时间太长，导致reduce等待时间过久 (4)小文件过多 (5)大量的不可分块的超大文件 (6)Spill溢出次数过多 (7)Merge次 阅读全文
posted @ 2022-07-29 11:12 jsqup 阅读(26) 评论(0) 推荐(0)
开启日志聚合
摘要： [root@node1 hadoop]# cat mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apa 阅读全文
posted @ 2022-07-29 09:36 jsqup 阅读(31) 评论(0) 推荐(0)
mapreduce中的shuffle机制
摘要： 分区的默认方式hashpartitioner public int getPartition(K2 key, V2 value, int numReduceTasks) { return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks; } 阅读全文
posted @ 2022-07-29 08:32 jsqup 阅读(25) 评论(0) 推荐(0)