06 2020 档案

spark 运行时java.io.InvalidClassException: org.apache.commons.lang3.time.FastDateFormat; local class incompatible: stream classdesc serialVersionUID = 2, local class serialVersionUID = 1
摘要：问题描述： 20/06/29 10:25:47 WARN TaskSetManager: Lost task 66.0 in stage 1.0 (TID 21, jsszdatanode-157, executor 165): java.io.InvalidClassException: org. 阅读全文
posted @ 2020-06-29 11:48 songchaolin 阅读(1914) 评论(0) 推荐(0) 编辑
启动dr-elephant失败问题
摘要：启动一直报错 SLF4J: Found binding in [jar:file:/data/src/dr-elephant-2.1.7/lib/ch.qos.logback.logback-classic-1.0.13.jar!/org/slf4j/impl/StaticLoggerBinder. 阅读全文
posted @ 2020-06-18 18:47 songchaolin 阅读(307) 评论(0) 推荐(0) 编辑
hive2.3 任务因一个map导致进程oom挂掉的排查
摘要：sql 部分如下 select '20200607' as log_date, COUNT(distinct if(event_id='app.onepass-login.0.0.pv' AND (get_json_object(extended_fields,'$.refer_click') in 阅读全文
posted @ 2020-06-10 17:38 songchaolin 阅读(719) 评论(0) 推荐(0) 编辑
hive客户端远程debug
摘要：idea 选中Edit Congigurations 添加remote如下图 图中debug方式为listen (本地不通线上，线上通本地) 远程 hive 客户端修改{HIVE_HOME}/bin/ext/debug.sh 将HIVE_MAIN_CLIENT_DEBUG_OPTS、 HIVE_CH 阅读全文
posted @ 2020-06-10 12:16 songchaolin 阅读(908) 评论(0) 推荐(0) 编辑