摘要：1 调节Executor的堆外内存 堆外内存是jvm进程中除了java堆内存占用的空间大小，包括方法区，java虚拟机 本地方法张 jvm进程本身所用的内存，直接内存等。通过spark.yarn.executor。memoryoverhead设置。单位为MB Spark底层的shuffle的传输方式 阅读全文