枫夜求索阁

SparkException——Dynamic partition strict mode 问题解决

摘要：问题场景在spark-shell控制台，运行testDF.write.mode("append").partitionBy("dt... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(431) 评论(0) 推荐(0)

摘要：问题场景给表新增了字段，重新运行了SQL，但是控制台select表数据，新增的字段值一直为空问题解析查看了SQL，SQL没有问... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(44) 评论(0) 推荐(0)

摘要：问题场景往Sybase库插入数据的时候，有一个字段的值是要存入SQL语句，含有分隔符“’”，如何正确地插入语句？解决方案在字段... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(0) 评论(0) 推荐(0)

摘要：报错提示 Error:scalac: Error: Uninitialized object exists on backward ... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(108) 评论(0) 推荐(0)

摘要：应用场景突然业务有要求，要求将以前的每个月的数据进行抽取保存。如果只是单纯一条一条的执行，又太过于繁琐。作为程序员，这肯定不能忍。... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(23) 评论(0) 推荐(0)

摘要：问题场景使用hive进行数据的统计，发现数据进行到一半，就异常退出。查看了报错，是栈溢出，导致了异常。问题分析通过查找资料和查... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(50) 评论(0) 推荐(0)

摘要：问题场景调用多个线程将多个文件进行合并，当初没有考虑到多线程操作文件会造成的脏数据，导致了业务出问题。解决方法审查文件操作的方... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(191) 评论(0) 推荐(0)

摘要：目的编辑环境变量方式有3种方式进行编辑环境变量 1. 临时性在控制台直接使用export命令即可。例如： expo... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(127) 评论(0) 推荐(0)

摘要：问题场景在项目开发当中，有时候需要配合用户出报表数据。这一部分是一个难题，因为数据量大，运行时间比较长，所以就需要慎重地写SQL，... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(95) 评论(0) 推荐(0)

摘要：场景想要将以前的程序打包下来，但是发现有log日志，而且比较大，有几G大。解决思路打包的时候，将某些文件夹给排除掉，只打包自己... 阅读全文

posted @ 2022-11-29 18:40 枫夜求索阁阅读(311) 评论(0) 推荐(0)