枫夜求索阁

问题解决：spark程序运行过程中，集群线程过多，异常中断（Couldn't set up IO streams）

摘要：问题场景 spark程序提交之后，运行之后，报错，报错提示如下： Caused by: java.io.IOException: C... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(0) 评论(0) 推荐(0)

摘要：系统稳定性——OutOfMemoryError 常见原因及解决方法作者：夏明（涯海）创作日期：2019-07-15 专栏地址... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(73) 评论(0) 推荐(0)

摘要：问题场景使用spark进行业务统计的时候，统计过程中触发这个问题，并导致程序异常退出问题环境 spark 1.6scala 2.... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(68) 评论(0) 推荐(0)

摘要：问题场景在去年的1月份，申请了亚马逊一年的免费服务器，在前面还用得不错，但是后来遇上国庆等节日，服务器就没办法访问了。后来就搁置了... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(73) 评论(0) 推荐(0)

摘要：场景在编写spark程序代码的时候，如果涉及大数据运算的时候，一次计算可能得几十分钟甚至一个小时以上，更极端的情况则是，一个较大的... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(298) 评论(0) 推荐(0)

摘要：场景 spark开发udf的时候，有使用String.format函数，对数字进行格式化，结果运行报错报错提示 error: ov... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(152) 评论(0) 推荐(0)

摘要：场景 CDH集群启动成功，但是有某些主机提示“无法找到主机的NTP 服务,或该服务未响应时钟偏差请求” 问题思路 NTP服务没有正常... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(193) 评论(0) 推荐(0)

摘要：问题提示 Command line is too long. Shorten command line for TestHdfs o... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(335) 评论(0) 推荐(0)

摘要：问题场景使用spark 2.4.0进行统计数据，报错误，错误提示为： WARN Utils:66 - Truncated the... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(338) 评论(0) 推荐(0)

摘要：软件版本软件版本spark2.4.0hadoop3.2.0scala2.11.8问题场景启动spark-shell的时候，有WA... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(138) 评论(0) 推荐(0)