--------【Hadoop】 - 随笔分类 - 程序优化

摘要：由于想在项目中使用类似yarn的事件处理机制，就看了实现。主要是由Dispatcher.java，EventHandler.java，Service.java这3个类撑起来的。在事件处理之前，先注册相应的事件处理handler，收到事件event后，由派发事件的Di... 阅读全文

posted @ 2016-06-21 21:55 程序优化阅读(333) 评论(0) 推荐(0)

摘要：如何确定Yarn中容器Container，Mapreduce相关参数的内存设置，对于初始集群，由于不知道集群的类型(如cpu密集、内存密集)我们需要根据经验提供给我们一个参考配置值，来作为基础的配置。完成这一任务有两种方式，确定YARN和MapReduce的内存设置，... 阅读全文

posted @ 2016-03-21 23:12 程序优化阅读(685) 评论(0) 推荐(0)

Reduce Side Join实现

摘要：关于reduce边join,其最重要的是使用MultipleInputs.addInputPath这个api对不同的表使用不同的Map，然后在每个Map里做一下该表的标识，最后到了Reduce端再根据标识区分对应的表！Reduce Side Join ExampleU... 阅读全文

posted @ 2016-01-29 17:47 程序优化阅读(165) 评论(0) 推荐(0)

HDFS集中化缓存管理

摘要：概述HDFS中的集中化缓存管理是一个明确的缓存机制，它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需快数据的所有DataNode通信，并指导他们把块数据缓存在off-heap缓存中。HDFS集中化缓存管理具有许多重大优势：1.明确的锁定可以阻止频繁使... 阅读全文

posted @ 2015-11-25 12:13 程序优化阅读(318) 评论(0) 推荐(0)

摘要：Before performing any upgrades or uninstalling software, stop all of the Hadoop services in the following order:RangerKnoxOozieWebHCat... 阅读全文

posted @ 2015-11-20 17:56 程序优化阅读(385) 评论(0) 推荐(0)

CentOS 6.4安装配置ldap

摘要：CentOS 6.5安装配置ldap时间:2015-07-14 00:54来源:blog.51cto.com 作者:“ly36843运维” 博客举报点击:274次一.安装ldap[root@dev ~]# yum install openldap openldap... 阅读全文

posted @ 2015-11-19 01:10 程序优化阅读(340) 评论(0) 推荐(0)

摘要：从hadoop移除机器把需要移除的机器增加到exclueds文件中，强制刷新datanode列表，等待decommission 状态正常后，即可停机下架，如有必要在namenode执行balancer操作。操作命令：在master的conf/hdfs-site.xml... 阅读全文

posted @ 2015-08-05 01:46 程序优化阅读(185) 评论(0) 推荐(0)

hadoop更换硬盘

摘要：hadoop服务器更换硬盘操作步骤(datanode hadoop目录${HADOOP_HOME}/bin 日志位置:/var/log/hadoop)1.登陆服务器，切换到mapred用户，执行jps命令，查看是否有TaskTracker进程。如果有，执行had... 阅读全文

posted @ 2015-07-13 17:26 程序优化阅读(862) 评论(0) 推荐(0)

摘要：由于hadoop-2.6.0.tar.gz安装包是在32位机器上编译的，64位的机器加载本地库.so文件时会出错，比如：java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeC... 阅读全文

posted @ 2015-03-26 15:15 程序优化阅读(150) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)