2016年8月18日
spark.SecurityManager: SecurityManager: authentication disabled
摘要： 阅读全文
posted @ 2016-08-18 14:53 蚂蚁都督 阅读(2940) 评论(0) 推荐(0)
spark对于elasticsearch里的复杂类型支持
摘要： IP，直接在case class里用string， 可以考虑先用其它程序生成相关的mapping，然后再去用spark填充数据 阅读全文
posted @ 2016-08-18 09:44 蚂蚁都督 阅读(300) 评论(0) 推荐(0)
spark-submit提示资源不足
摘要： ensure that workers are registered and have sufficient resources spark-cluster启动的配置里配置了每个worker的内存，如果你submit的时候指定的资源大于这个，就会报上述错 阅读全文
posted @ 2016-08-18 09:42 蚂蚁都督 阅读(485) 评论(1) 推荐(0)