摘要： 转https://tech.meituan.com/spark-tuning-basic.html spark作业原理 使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同，Driver进程可能在本地启 阅读全文

摘要： 转https://tech.meituan.com/spark-tuning-basic.html 原则1.避免创建重复的RDD // 需要对名为“hello.txt”的HDFS文件进行一次map操作，再进行一次reduce操作。也就是说，需要对一份数据执行两次算子操作。 // 错误的做法：对于同一 阅读全文

摘要： 物理CPU:物理CPU是相对于虚拟CPU而言的概念，指实际存在的处理器,就是我们可以看的见，摸得着的CPU，就是插在主板上面的。 物理核：CPU中包含的物理内核个数，比如我们通常说的双核CPU，单核CPU。 在linux系统下面的/proc/cpuinfo文件的条目中： 1.有多少个不同的physi 阅读全文