05 2017 档案
排查Hive报错:org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Start of Array expected
摘要:以上述sql创建表json_nested_test后,查询时发现报错:Failed with exception java.io.IOException:org.apache.hadoop.hive.serde2.SerDeException: java.io.IOException: Start
阅读全文
解决spark程序报错:Caused by: java.util.concurrent.TimeoutException: Futures timed out after [300 seconds]
摘要:报错信息: 根据最后的Caused by信息和stack trace信息进行搜索,确定是broacast阶段超时,解决方法: http://stackoverflow.com/questions/41123846/scala-spark-dataframes-join-java-util-concu
阅读全文
解决kylin报错:Failed to create dictionary on <db>.<table>, Caused by: java.lang.IllegalArgumentException: Too high cardinality is not suitable for dictionary
摘要:报错信息: 解决方案: 1. 请使用其他编码方式,例如“fixed_length”,“integer”等。 2. Apache Kylin中对上亿字符串的精确Count_Distinct示例 – lxw的大数据田地
阅读全文
解决kylin报错:java.lang.IllegalStateException
摘要:一个kylin build job执行到第三步Extract Fact Table Distinct Columns时报错: 解决方案:找到执行这个build任务的kylin实例,reload metadata或重启kylin服务(不推荐),然后重新build. 原因分析:执行build的job s
阅读全文
解决kylin报错 ClassCastException org.apache.hadoop.hive.ql.exec.ConditionalTask cannot be cast to org.apache.hadoop.hive.ql.exec.mr.MapRedTask
摘要:方法:去掉参数SET hive.auto.convert.join=true; 从配置文件$KYLIN_HOME/conf/kylin_hive_conf.xml删掉 或 kylin-gui的cube的“参数覆盖”页上删掉。 其实关于hive.auto.convert.join kylin用的是 S
阅读全文
解决marathon上docker实例一直waitting的问题
摘要:可能原因: 1. mesos-slave上资源不够,一般是内存不够。可上mesos-master:5050上查看 2. 宿主机上没有镜像,一直在拉或拉不到。上宿主机上查看: docker images | grep xxx,确保marathon上配置的镜像名和版本在宿主机上存在 3. maratho
阅读全文
解决Hue/hiveserver2报错:java.io.IOException: Job status not available
摘要:sql是:select count(distinct col) from db.table; 排查过程中遇到过几个不同的报错: 1. beeline -u jdbc:hive2://0.0.0.0:10000 -e "select count(distinct col) from db.table;
阅读全文
浙公网安备 33010602011771号