随笔分类 -  zeppelin

spark 读取mongodb失败,报executor time out 和GC overhead limit exceeded 异常
摘要：代码： 使用上述的代码取userGroupMapping 集合过后的100条记录，出现了executor time out 和GC overhead limit exceeded 异常。一开始以为推测是task 从mongodb取的数据太大，导致spark executor内存不够，后来调研了一下s 阅读全文
posted @ 2018-05-03 11:19 yimison 阅读(377) 评论(0) 推荐(0)
在zepplin 使用spark sql 查询mongodb的数据
摘要：1.下载zepplin 进入官网下载地址 ,下载完整tar包. 2.解压 3.修改配置 新建配置文件 修改配置文件 # 设置java home 路径 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.141-1.b16.el7_3.x86_ 阅读全文
posted @ 2018-05-02 18:11 yimison 阅读(838) 评论(0) 推荐(0)
Unable to query from Mongodb from Zeppelin using spark
摘要：异常：java.lang.IllegalArgumentException: Missing database name 转载自：https://issues.apache.org/jira/browse/ZEPPELIN-1565 阅读全文
posted @ 2018-05-02 17:33 yimison 阅读(144) 评论(0) 推荐(0)