09 2019 档案

摘要:一、azkaban sqoop基本介绍 azkaban的介绍 azkaban web server : 提供一个web的UI管理界面: 创建项目, 执行任务, 监控任务流程,, azkaban executor server: 执行器, 用来执行web ui提交的工作流的任务 mysql数据库: 存 阅读全文
posted @ 2019-09-28 17:10 我の女王 阅读(365) 评论(0) 推荐(0)
摘要:一、hdfs的调度 1) 创建job描述文件 -- hdfs.sh #!/bin/bash /export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azaz666 -- fs.job type=command command=sh h 阅读全文
posted @ 2019-09-25 16:45 我の女王 阅读(136) 评论(0) 推荐(0)
摘要:一、solo server mode 该模式中webserver和executorsrever运行在同一进程中,进程名是AzkabanSingleServer,使用自带的H2数据库,这种模式包含Azkaban的所有特性,但一般用来学习和测试 1.1节点规划 HOST 角色 hadoop01 Web 阅读全文
posted @ 2019-09-25 14:41 我の女王 阅读(1160) 评论(1) 推荐(0)
摘要:一、Hive 窗口函数(OLAP函数\分析函数) 窗口函数最重要的关键字是 partition by 和 order by 具体用法如下:over (parttion by xxx order by xxx) 1、SUM、AVG、MIN、MAX 数据: cookie1,2018-04-10,1 co 阅读全文
posted @ 2019-09-24 16:49 我の女王 阅读(744) 评论(0) 推荐(0)
摘要:一、Flume基本介绍 1.1 什么是flume 说白了flume就是一个采集数据的软件,是cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件; flume的核心就是把数据从数据源(source)收集过来,为了保证传输的成功性,会先缓存数据(channel),待数据 阅读全文
posted @ 2019-09-24 00:45 我の女王 阅读(289) 评论(0) 推荐(0)
摘要:一、yarn运行机制 yarn是一种全新的 Hadoop资源管理器,他是一个通用资源管理平台和调度平台,可为上层应用提供统一的资源管理和调度,mapreduce等运算程序则相当于运行于操作紫铜上的应用程序,yarn为这些程序提供运算所需的资源内存、cpu() yarn并不清楚用户提交的程序的运行机制 阅读全文
posted @ 2019-09-22 22:01 我の女王 阅读(664) 评论(0) 推荐(0)
摘要:一、DDL操作 1、修改表 1、1增加分区 --一次添加一个分区 alter table tablename add partition (dt='20000202') location '要填在的表在hafs上的实际路径'; --一次添加多个分区 alter table tabelname add 阅读全文
posted @ 2019-09-22 16:37 我の女王 阅读(238) 评论(0) 推荐(0)
摘要:一、终端命令格式 command [-options] [parameter] command :命令名,相应功能的英文单词或单词的缩写 [-options]: 选项,可用来对命令进行控制,也可以省略 parameter:传给命令的参数,可以是零个,一个或者多个 1.1常用命令的基本使用 常用命令 阅读全文
posted @ 2019-09-01 20:54 我の女王 阅读(135) 评论(0) 推荐(0)