摘要：报错日志如下： Caused by: java.lang.AbstractMethodError: sparkCore.JavaWordCount$2.call(Ljava/lang/Object;)Ljava/lang/Iterable; at org.apache.spark.api.java. 阅读全文

摘要：Java heap space问题一般解决方案： 设置 set io.sort.mb=10; 排序所使用的内存数量，默认值是100M，和mapred.child.java.opts相对应，opts默认：-Xmx200m,则mb不能超过200M，否则会OOM。 设置 set hive.map.aggr 阅读全文

摘要：在 linux中设置环境变量一般使用bash_profile进行配置 其中/etc/bash_profile 表示系统整体设置 ，生效后系统内所有用户可用而 ~/.bash_profile 只表示当前用户的个人设置，生效后只该用户可用。 阅读全文

摘要：分布式协调服务作用是将多机协调的职责从分布式应用中独立出来，以减少系统的耦合性和增加扩展性。 而zookeeper采用分布式中经典的主从架构：master->slave，通常以动态的存储分布式应用程序中关键的元数据 来达到分布式协调服务的作用，可提供如leader选举、负载均衡、服务发现等服务。 整 阅读全文