随笔分类 -  bug 记录

spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSystem
摘要：序列化问题多事rdd遍历过程中使用了没有序列化的对象。 1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。 2.常量定义里包含了未序列化对象 ，提出去吧 如下常量要放到main里，不能放到rdd的遍历中。 阅读全文
posted @ 2019-10-18 18:21 ~清风煮酒~ 阅读(1982) 评论(0) 推荐(0)
spark sql error mismatched input 'union' expecting { <EOF>,''................................
摘要：给union的前后sql加括号就可以解决 阅读全文
posted @ 2019-10-18 18:03 ~清风煮酒~ 阅读(9381) 评论(0) 推荐(0)
spark模型运行时无法连接摸个excutors异常org.apache.spark.shuffle.FetchFailedException: Failed to connect to xxxx/xx.xx.xx.xx:xxxx
摘要：error:org.apache.spark.shuffle.FetchFailedException: Failed to connect to xxxx/xx.xx.xx.xx:xxxx 定位来定位去与防火墙等无关。反复查看日志： 2019-09-30 11:00:46,521 | WARN | 阅读全文
posted @ 2019-09-30 17:44 ~清风煮酒~ 阅读(1242) 评论(0) 推荐(0)
spark模型error java.lang.IllegalArgumentException: Row length is 0
摘要：failure: Lost task 18.3 in stage 17.0 (TID 59784,XXXXX, executor 19): java.lang.IllegalArgumentException: Row length is 0 场景是写入hbase： 当取出的line._1做为row 阅读全文
posted @ 2019-09-30 17:29 ~清风煮酒~ 阅读(2651) 评论(0) 推荐(0)
springboot httpsession.getAtt....is null
摘要：1.开始怀疑是 修改修复了 但是get时还是null 后来清理了 浏览器缓存 ok 阅读全文
posted @ 2019-09-17 16:41 ~清风煮酒~ 阅读(969) 评论(0) 推荐(0)
idea打包报错Cleaning up unclosed ZipFile for archive D:\m2\commons-beanutils\commons-beanutils\1.9.2\...
摘要：关于idea的打包报错：Cleaning up unclosed ZipFile for archive D:\m2\commons-beanutils\commons-beanutils\1.9.2\commons-beanutils-1.9.2.jar 先配置在run configuration 阅读全文
posted @ 2019-09-17 16:40 ~清风煮酒~ 阅读(2171) 评论(0) 推荐(0)
sprigboot 异常 Failed to start component [StandardEngine[Tomcat].StandardHost[localhost].Tomc...
摘要：java.util.concurrent.ExecutionException: org.apache.catalina.LifecycleException: Failed to start component [StandardEngine[Tomcat].StandardHost[localh 阅读全文
posted @ 2019-09-17 16:38 ~清风煮酒~ 阅读(2347) 评论(0) 推荐(0)