2019年7月6日
Hive的配置详解和日常维护
摘要： Hive的配置详解和日常维护 一.Hive的参数配置详解 1>.mapred.reduce.tasks 2>.hive.mapred.mode 3>.hive.merge.mapfiles 4>.hive.merge.mapredfiles 5>.hive.exec.parallel 6>.hive 阅读全文
posted @ 2019-07-06 18:10 滴滴滴 阅读(2241) 评论(0) 推荐(0)
hadoop 参数调优重点参数
摘要： yarn的参数调优,必调参数 28>.yarn.nodemanager.resource.memory-mb 30>.yarn.nodemanager.resource.cpu-vcores 阅读全文
posted @ 2019-07-06 17:03 滴滴滴 阅读(692) 评论(0) 推荐(0)
Hive跨集群迁移
摘要： Hive跨集群迁移数据工作是会出现的事情, 其中涉及到数据迁移, metastore迁移, hive版本升级等。 1. 迁移hdfs数据至新集群hadoop distcp -skipcrccheck -update hdfs://xxx.xxx.xxx.xxx:8020/user/risk hdfs 阅读全文
posted @ 2019-07-06 14:12 滴滴滴 阅读(2463) 评论(0) 推荐(0)