Spark报错

1.

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at com.mysql.jdbc.MysqlIO.nextRowFast(MysqlIO.java:2145)

增加driver内存, 原因是数据从各executor汇总到driver造成的。

 

2.
Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

能调大的内存,全部调大。