gentleman_hai

摘要： 问题： 我们知道一个任务跑完后，会在jobhistory里面现在如下界面： 1）那这里面的elapsed、Average Map Time、Average Reduce Time、Average Shuffle Time、Average Merge Time时间是什么意思？ 2）为什么elapsed 阅读全文

摘要： Client向RM提交任务的过程大致分为七步，如下图： 1. Client向RM发出请求 2. RM返回一个ApplicationID作为回应 3. Client向RM回应Application Submission Context（ASC）。ASC包括ApplicationID、user、queu 阅读全文

摘要： 一、基本概念 Kerberos ticket 有两种生命周期，ticket timelife (票据生命周期) 和 renewable lifetime (可再生周期)。 例如: ticket_lifetime = 1d renew_lifetime = 7d 二、影响生命周期的因素 kinit - 阅读全文

摘要： 在hbase里面有几个通俗的名称会经常出现 1）Hregion = region 2）Hregionserver = regionserver 3）Hmaster = master 4）Hmamstore = memstore 5）Hfile = storeFile 1、什么是hbase？ 1）它是 阅读全文

摘要： 1、报无法实例化metastore连接 hive> show tables; FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable 阅读全文

摘要： 我们在使用hadoop streaming的时候默认streaming的map和reduce的separator不指定的话，map和reduce会根据它们默认的分隔符来进行排序 map、reduce：默认的分隔符是\t（读入数据） 得到的结果都是按第一个分隔符排序去重后的结果 假设我们的有这么一列数 阅读全文

摘要： 参考链接：https://www.cnblogs.com/iois/p/6403761.html ansible主机组的使用，我们在对一个集群进行管理的时候集群会有很多角色，在执行统一命令操作的时候我们需要对所有组进行批量操作，这个时候就需要我们的主机组了 1）主机组怎么配置呢？ Inventory 阅读全文

摘要： 1.Linux下生成密钥 ssh-keygen的命令手册，通过”man ssh-keygen“命令： 通过命令”ssh-keygen -t rsa“ 生成之后会在用户的根目录生成一个 “.ssh”的文件夹 进入“.ssh”会生成以下几个文件 authorized_keys:存放远程免密登录的公钥,主 阅读全文

摘要： 创建逻辑卷(LV)的顺序：Linux分区 物理卷(PV) 卷组(VG) 逻辑卷(LV) 挂载到文件系统 删除逻辑卷(LV)的顺序：卸载文件系统 逻辑卷(LV) 卷组(VG) 物理卷(PV) Linux分区 一、创建逻辑卷通常包括如下步骤： 1）创建分区： 命令：fdisk /dev/sda #例如对 阅读全文

摘要： Ganglia & RRD Ganglia是伯克利开发的一个集群监控软件。可以监视和显示集群中的节点的各种状态信息，比如如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，同时可以将历史数据以曲线方式通过php页面呈现。 Ganglia监控系统的核心有两部分：gmond 和 gmetad 阅读全文