2019年11月21日
flink第一个demo
摘要： 在没有安装flink的情况下，试运行 wordcount 代码。代码如下： package bigdata.batch; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api 阅读全文
posted @ 2019-11-21 23:30 后山前堂客 阅读(1353) 评论(0) 推荐(0)
sparksql 复杂查询OOM
摘要： 平台上执行复杂查询，OOM，根据日志提示的结局方法： -- SET spark.driver.memory=6/8G;【还是OOM】set spark.sql.autoBroadcastJoinThreshold=-1;【解决问题】 Exception in thread "broadcast-ex 阅读全文
posted @ 2019-11-21 08:20 后山前堂客 阅读(1810) 评论(0) 推荐(0)