摘要：
1.简述 Yarn是Hadoop2.X的核心组件之一.负责集群的资源管理.(不局限于Hadoop,Spark等等相当多的组件都可以利用Yarn来进行资源管理与调度) Yarn本身由两大组件构成:ResourceManager(RM)和NodeManager(NM).在Yarn中,整个资源管理依靠这两 阅读全文
posted @ 2018-06-22 17:32
NightPxy
阅读(268)
评论(0)
推荐(0)
摘要：
1.准备 https://downloads.gradle.org/distributions/gradle-4.1-all.zip #unzip /home/hadoop/software/azkaban-3.47.0.zip -d /home/hadoop/source/ 2.编译 首先设置gr 阅读全文
posted @ 2018-06-20 17:12
NightPxy
阅读(612)
评论(0)
推荐(0)
摘要：
Hadoop运维人员,负责为Hadoop提供一个高效和可靠的作业执行环境,很多时候,需要从全局出发,通过调整一些关键参数以提供系统的性能和吞吐量. 总体上看,Hadoop运维需要从硬件选择,操作系统参数调优,JVM参数调优,Hadoop参数调优四个方面着手进行调优 1.硬件选择 在硬件环境中,应着重 阅读全文
posted @ 2018-06-19 17:15
NightPxy
阅读(404)
评论(0)
推荐(0)
摘要：
1.5台机器执行 ssh-keygen[root@sht-sgmhadoopnn-01 ~]# ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rs 阅读全文
posted @ 2018-06-19 15:34
NightPxy
阅读(556)
评论(0)
推荐(0)
摘要：
1.读取执行的上级目录 basepath=$(cd `dirname $0`;cd ..; pwd) 2.Sudo切换用户并执行MySQL语句 echo '密码'|sudo -u mysqladmin -S /usr/local/mysql/bin/mysql -uMySQL用户名 -pMySQL密 阅读全文
posted @ 2018-06-19 11:20
NightPxy
阅读(263)
评论(0)
推荐(0)
摘要：
1.脚本文件 Shell脚本一般以.sh为后缀名.但注意在Linux中.sh不是作为文件类型识别的依据,仅仅只是用来向看到的人标记这是一个Shell脚本而已. Shell脚本一般有一个头声明 #!/bin/bash 告诉Linux应该用什么来执行脚本,如果没有,Linux默认将使用bash来执行脚本 阅读全文
posted @ 2018-06-15 17:14
NightPxy
阅读(191)
评论(0)
推荐(0)
摘要：
占位置 阅读全文
posted @ 2018-06-10 23:58
NightPxy
阅读(132)
评论(0)
推荐(0)
摘要：
1.概述 Sqoop的导入导出,是Sqoop的核心功能.导入导出,是针对Hadoop而言.所以 Sqoop导入 : RDBMS数据导入到Hadoop Sqoop导出: Hadoop数据导出到RDBMS中 Sqoop导入时,会 2.导入 2.1 导入到HDFS delete-target-dir 谨慎 阅读全文
posted @ 2018-06-10 15:00
NightPxy
阅读(277)
评论(0)
推荐(0)
摘要：
1.什么是Sqoop Sqoop是sql-to-hadoop 的部分单词字母汇总.它是作为Hadoop(广义,包括但不限于HDFS)与结构化存储(RDBMS),相互的导入导出桥梁. Sqoop是Apache的顶级项目,所以其有独立官网 http://sqoop.apache.org/ Sqoop有两 阅读全文
posted @ 2018-06-10 14:01
NightPxy
阅读(206)
评论(0)
推荐(0)
摘要：
1.函数分类 UDF 单进单出函数 UDAF 多进单出函数(比如Count,Sum...多个记录输出一个结果) UDTF 单进多出函数(比如explode,一个记录输出多行结果) 2.操作符 A = B(等价A == B) 值相等 A <==> B Equals(两个同时为Null为真,只有一个Nu 阅读全文
posted @ 2018-06-07 23:01
NightPxy
阅读(493)
评论(0)
推荐(0)
浙公网安备 33010602011771号