米兰的小铁將

摘要： 一、普通shuffle原理1、图解假设有一个节点上面运行了4个 ShuffleMapTask，然后这个节点上只有2个 cpu core。假如有另外一台节点，上面也运行了4个ResultTask，现在呢，正等着要去 ShuffleMapTask 的输出数据来完成比如 reduceByKey 等操作。每个 ShuffleMapTask 都会为 ReduceTask 创建一份 bucket 缓存，以及对... 阅读全文

摘要： 一、模块安装 1、简介 psutil是一个跨平台库(http://pythonhosted.org/psutil/)能够轻松实现获取系统运行的进程和系统利用率（包括CPU、内存、磁盘、网络等）信息。 它主要用来做系统监控，性能分析，进程管理。它实现了同等命令行工具提供的功能： 如ps、top、lso 阅读全文