09 2019 档案
摘要:一、azkaban sqoop基本介绍 azkaban的介绍 azkaban web server : 提供一个web的UI管理界面: 创建项目, 执行任务, 监控任务流程,, azkaban executor server: 执行器, 用来执行web ui提交的工作流的任务 mysql数据库: 存
阅读全文
摘要:一、hdfs的调度 1) 创建job描述文件 -- hdfs.sh #!/bin/bash /export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azaz666 -- fs.job type=command command=sh h
阅读全文
摘要:一、solo server mode 该模式中webserver和executorsrever运行在同一进程中,进程名是AzkabanSingleServer,使用自带的H2数据库,这种模式包含Azkaban的所有特性,但一般用来学习和测试 1.1节点规划 HOST 角色 hadoop01 Web
阅读全文
摘要:一、Hive 窗口函数(OLAP函数\分析函数) 窗口函数最重要的关键字是 partition by 和 order by 具体用法如下:over (parttion by xxx order by xxx) 1、SUM、AVG、MIN、MAX 数据: cookie1,2018-04-10,1 co
阅读全文
摘要:一、Flume基本介绍 1.1 什么是flume 说白了flume就是一个采集数据的软件,是cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件; flume的核心就是把数据从数据源(source)收集过来,为了保证传输的成功性,会先缓存数据(channel),待数据
阅读全文
摘要:一、yarn运行机制 yarn是一种全新的 Hadoop资源管理器,他是一个通用资源管理平台和调度平台,可为上层应用提供统一的资源管理和调度,mapreduce等运算程序则相当于运行于操作紫铜上的应用程序,yarn为这些程序提供运算所需的资源内存、cpu() yarn并不清楚用户提交的程序的运行机制
阅读全文
摘要:一、DDL操作 1、修改表 1、1增加分区 --一次添加一个分区 alter table tablename add partition (dt='20000202') location '要填在的表在hafs上的实际路径'; --一次添加多个分区 alter table tabelname add
阅读全文
摘要:一、终端命令格式 command [-options] [parameter] command :命令名,相应功能的英文单词或单词的缩写 [-options]: 选项,可用来对命令进行控制,也可以省略 parameter:传给命令的参数,可以是零个,一个或者多个 1.1常用命令的基本使用 常用命令
阅读全文