摘要：1.序列化调优 序列化在任何分布式应用程序的性能中起着重要的作用。 缓慢的对象序列化过程或消费大量字节的格式都将会大大减慢计算速度 Spark 宗旨在于方便(允许您使用操作中的任何 Java 类型)和性能(速度与消耗更少的资源)之间.Spark 提供了 Java , Kryo 两种序列化库 1.1  阅读全文

摘要：1.HiveSQL优化 1.1 中心思想 这里以Hive On MapReduce 为例,Hive On Spark等思路也是一致的. HiveSQL会最终转化为MapReduce进行执行,那么优化的前提是至少对MapReduce有基本的了解 其次是必须了解HiveSQL会转化成怎么样的MapRed 阅读全文

摘要：YARN作为资源调度管理组件,对YARN的的优化主要呈现在CPU和内存两方面 1.内存篇 在YARN集群中,平衡内存,CPU和磁盘的资源是比较重要的.一般来说,每两个Container使用一块磁盘和一个CPU核可以是使资源得到比较充分的利用 对YARN而言的内存可用资源,是指在排除操作系统或其它应用 阅读全文

摘要：Hadoop运维人员,负责为Hadoop提供一个高效和可靠的作业执行环境,很多时候,需要从全局出发,通过调整一些关键参数以提供系统的性能和吞吐量. 总体上看,Hadoop运维需要从硬件选择,操作系统参数调优,JVM参数调优,Hadoop参数调优四个方面着手进行调优 1.硬件选择 在硬件环境中,应着重 阅读全文