--------【Hive】 - 随笔分类 - 程序优化

摘要：最近在监控中发现HiveServer2连接到zookeeper里的连接持续上涨，很奇怪，虽然知道HiveServer2支持并发连接，使用ZooKeeper来管理Hive表的读写锁，但我们的环境并不需要这些，我们已经关闭并发功能，以下是线上的配置，甚至把这些值都改成fi... 阅读全文

posted @ 2016-02-23 15:55 程序优化阅读(774) 评论(0) 推荐(0)

摘要：This article explains how to configure the following settings in Hive:hive.server2.session.check.intervalhive.server2.idle.operation.t... 阅读全文

posted @ 2016-01-12 23:28 程序优化阅读(847) 评论(0) 推荐(0)

摘要：异常信息如下：java.io.IOException: Failed on local exception: java.nio.channels.ClosedByInterruptException; Host Details : local host is: "ha... 阅读全文

posted @ 2015-12-20 11:23 程序优化阅读(743) 评论(0) 推荐(0)

摘要：异常堆栈如下：2015-11-24 16:49:11,495 ERROR org.apache.hive.service.cli.operation.Operation: Error running hive query:org.apache.hive.service... 阅读全文

posted @ 2015-11-24 19:06 程序优化阅读(1018) 评论(0) 推荐(0)

摘要：Changing Hive Dynamic Partition LimitsSymptoms:Hive enforces limits on the number of dynamic partitions that it creates. The default ... 阅读全文

posted @ 2015-11-17 10:51 程序优化阅读(3563) 评论(0) 推荐(0)

摘要：对有特殊值的数据倾斜处理SET mapred.reduce.tasks=20;SET hive.map.aggr=TRUE;SET hive.groupby.skewindata=TRUE;SET hive.optimize.skewjoin=TRUE; set ... 阅读全文

posted @ 2015-10-09 14:24 程序优化阅读(938) 评论(0) 推荐(0)

hive连接数

摘要：使用hive分析日志作业很多的时候，需要修改mysql的默认连接数修改方法打开/etc/my.cnf文件在[mysqld] 中添加 max_connections=1000重启mysql服务 service mysqld restartmysql>show ... 阅读全文

posted @ 2015-09-26 23:01 程序优化阅读(2718) 评论(1) 推荐(0)

摘要：NoSuchObjectException(message:There is no database named cloudera_manager_metastore_canary_test_db_hive_hivemetastore_df61080e04cd7eb3... 阅读全文

posted @ 2015-09-17 10:58 程序优化阅读(1661) 评论(0) 推荐(0)

摘要：PipeMapRed.waitOutputThreads(): subprocess failed with code X ，这里code X对应的信息如下：error code 1: Operation not permittederror code 2: No s... 阅读全文

posted @ 2015-07-08 15:04 程序优化阅读(1056) 评论(0) 推荐(0)

摘要：在运行一个group by的sql时，抛出以下错误信息：Task with the most failures(4): -----Task ID: task_201411191723_723592_m_000004URL: http://DDS0204.drati... 阅读全文

posted @ 2015-01-28 16:14 程序优化阅读(382) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)