随笔档案「2017年7月」 - 山君

hue耗流量优化

摘要：ps: 使用的hue版本为 hue-3.10.0 一.【jobbrowser刷流量】基本一分钟刷新一次，执行GET /jobbrowser/ 使用浏览器自带的工具web开发者->网络监控流量：解决jobbrowser刷流量的问题：修改$HUE_HOME/desktop/core/src/de 阅读全文

posted @ 2017-07-07 01:35 山君阅读(1098) 评论(0) 推荐(0)

解决hue/hiveserver2对于hive date类型显示为NULL的问题

摘要：用户报在Hue中执行一条sql：select admission_date, discharge_date,birth_date from hm_004_20170309141149.inpatient_visit limit 20; 返回的结果中date类型的列全部显示为null，可是在hive客阅读全文

posted @ 2017-07-07 01:05 山君阅读(3936) 评论(0) 推荐(0)

解决kylin sync table报错：MetaException(message:java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found

摘要：在kylin-gui中sync表default.customer_visit时报错：如果此表已被别的project引入，在另一个project中sync时报错为：下面是此表的定义，ClassNotFoundException中的类就是此表用到的JsonSerDe: 解决方案：解决方案：相关j 阅读全文

posted @ 2017-07-07 00:49 山君阅读(8214) 评论(0) 推荐(0)

解决hiveserver2报错：java.io.IOException: Job status not available - Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

摘要：用户使用的sql: select count( distinct patient_id ) from argus.table_aa000612_641cd8ce_ceff_4ea0_9b27_0a3a743f0fe3; 下面做不同的测试： 1.beeline -u jdbc:hive2://0.0. 阅读全文

posted @ 2017-07-07 00:27 山君阅读(37765) 评论(0) 推荐(0)

hue解决timed out(code THRIFTSOCKET):None

摘要：报错栈：使用的hiveserver2有问题，响应太慢导致超时。HS2有问题，重启HS2后解决。阅读全文

posted @ 2017-07-04 23:02 山君阅读(1398) 评论(0) 推荐(0)

解决sqoop 导入oracle表时 --split-by参数为日期类型时的报错：ORA-01861: literal does not match format string

摘要：报错栈：报错为sql抛出，sql改写后执行成功，下面两句都可以： sqoop的一个bug: https://issues.apache.org/jira/browse/SQOOP-1946, 解决方案大致为转换成string类型即可。发现这个列的类型为date, 因此解决方案为： --split- 阅读全文

posted @ 2017-07-04 23:01 山君阅读(5341) 评论(0) 推荐(0)

解决sqoop报错：java.lang.OutOfMemoryError: Java heap space

摘要：报错栈：解决：调小sqoop参数：--fetch-size 解决：调小sqoop参数：--fetch-size 解决过程，查看sqoop源码，看到fetchSize，想到调整这个参数： ps: 调大mapper参数不管用，曾设置过参数：-D mapreduce.map.memory.mb=8192 阅读全文

posted @ 2017-07-04 22:58 山君阅读(3470) 评论(0) 推荐(0)

解决sqoop导入报错：Caused by: java.sql.SQLException: Protocol violation

摘要：报错信息：参考：http://blog.csdn.net/wsm6591289/article/details/34425919 阅读全文

posted @ 2017-07-04 22:56 山君阅读(3088) 评论(0) 推荐(0)

解决hue报错：timed out (code THRIFTSOCKET): None

摘要：报错栈：解决：适当调大超时时间 # Timeout in seconds for thrift calls to Hive service server_conn_timeout=120 阅读全文

posted @ 2017-07-04 22:54 山君阅读(2628) 评论(0) 推荐(0)

解决Sqoop报错Could not load db driver class: com.intersys.jdbc.CacheDriver

摘要：报错栈：原因：执行导入的MR任务时找不到数据库连接的驱动包，只需把CacheDB.jar放到$SQOOP_HOME/lib下即可，sqoop提交MR任务时会自动把这个目录下的所有Jar包放入MR Job的Classpath中阅读全文

posted @ 2017-07-04 22:52 山君阅读(5020) 评论(2) 推荐(0)

排查sqoop报错：Error running child : java.lang.OutOfMemoryError: Java heap space

摘要：报错栈：调小fetchsize参数也不能解决，那问题很可能是某行数据占用空间很大。根据Sqoop生成的导入表对应的实例化类QueryResult.java的244行可定位到报错列是FILE_CONTENT，是个二进制列, 然后查询原库，果然最大的列长达到180M: ps: 怎么用标准的sql语句查阅读全文

posted @ 2017-07-04 22:48 山君阅读(2164) 评论(0) 推荐(0)

解决kylin build cube第一步报错：java.lang.NullPointerException

摘要：报错栈：原因：kylin集群的build server没有获取到最新meta导致解决方法：reload metadata 阅读全文

posted @ 2017-07-04 22:39 山君阅读(2902) 评论(0) 推荐(0)

解决sqoop报错Invalid number; item = ITEM_UNICODE

摘要：报错栈：问题的根本原因是字段值类型异常，本来应该是数字型，里面却存了unicode字符。使用报错信息查不到相关资料，另外增加参数也不能解决：-D mapreduce.map.failures.maxpercent=1， query里面增加： and Specimen is not null 也不能阅读全文

posted @ 2017-07-04 22:28 山君阅读(759) 评论(0) 推荐(0)

解决sqoop报错：SQLServerException: 将字符串转换为 uniqueidentifier 时失败。

摘要：报错栈：解决：uniqueidentifier类型的列不能作为参数--split-by的值阅读全文

posted @ 2017-07-04 22:22 山君阅读(5807) 评论(0) 推荐(0)

解决用户自生成meta导入kylin后报错问题Can not deserialize instance of java.lang.String[] out of VALUE_STRING token

摘要：报错栈：解决： null_string字段kylin要求为string[]，但自生成的meta里面却是空串，所以导致json反序列化失败阅读全文

posted @ 2017-07-04 22:19 山君阅读(4829) 评论(0) 推荐(0)

解决kylin报错：java.lang.ArrayIndexOutOfBoundsException: -1

摘要：报错信息：解决： meta中/table/下存在同名但大小写不同的两个table的meta，这个meta文件里column的id起始为0，正常情况应该为1. kylin内部把表的meta存到一个hashmap里，key为大写的表名，不论原来是否为大写。在这个情况中小写的meta的内容把大写的me 阅读全文

posted @ 2017-07-04 22:18 山君阅读(8718) 评论(0) 推荐(0)

解决kylin查询报错：org.apache.kylin.rest.exception.InternalErrorException

摘要：报错信息：解决过程: 根据报错信息排查源码： 193行pi不为空，那就只能是pi.getExtFilters()为空，查看对应的meta数据，此字段果然为null。正常情况下此字段没值时应该是个空数组，改为空数组后解决。原来异常meta是用户自己生成通过后台程序传入kylin的。 ps: 上面代码阅读全文

posted @ 2017-07-04 22:13 山君阅读(4321) 评论(0) 推荐(0)