Mrzxs

2020年9月20日

在进行equals操作时，使用常量值去 equals 变量

摘要： "XXXX".equals(tableName)一般是这样去进行比较这样不会出现空指针异常，如果使用变量名去equals时容易出现空指针异常阅读全文

posted @ 2020-09-20 09:08 Mrzxs 阅读(265) 评论(0) 推荐(0)

关于spark-core中一个main方法中有多个会提交的算子

摘要： 1.foreachRDD会提交状态，如果一个main方法中有两个foreachRDD，那么前一个foreachRDD会执行两边，第一次没啥用（这时候在前边加一个cache缓存，可以解决）阅读全文

posted @ 2020-09-20 09:07 Mrzxs 阅读(203) 评论(0) 推荐(0)

2020年9月19日

广播变量什么时候使用？

摘要：如果不使用广播变量，那么Executor端在使用driver端的数据（变量）时，会在每个task（任务）中生成driver端的变量，容易数据冗余，所以使用广播变量如果数据量很大，就不要使用广播变量了，数据量中小型可以，数据量太大，容易使driver端负载太严重，毕竟广播变量是在driver端只有一阅读全文

posted @ 2020-09-19 16:58 Mrzxs 阅读(449) 评论(2) 推荐(1)

在进行往数据库保存数据时，若出现字段不匹配

摘要：记录一个错误，在进行往数据库保存数据时，若出现字段不匹配。看了一下字段长度，字段名是否一致，大小写，注意字段名双引号里边千万别有空格，很操蛋阅读全文

posted @ 2020-09-19 16:02 Mrzxs 阅读(372) 评论(0) 推荐(0)

在进行maxwell-boostrap同步mysql历史数据的时候，发现能从mysql到kafka，但是做分流的时候到ods层时，没有获取到数据 & 以及解决后的空指针异常

摘要： .在进行maxwell-boostrap同步mysql历史数据的时候，发现能从mysql到kafka，但是做分流的时候到ods层时，没有获取到数据查看自己写的分流代码发现过滤条件是 "insert".equals(opType) || "update".equals(opType) 而监测未分阅读全文

posted @ 2020-09-19 12:52 Mrzxs 阅读(640) 评论(0) 推荐(0)

公告