09 2019 档案

Hadoop生态圈---azkaban--sqoop
摘要：一、azkaban sqoop基本介绍 azkaban的介绍 azkaban web server : 提供一个web的UI管理界面: 创建项目, 执行任务, 监控任务流程,, azkaban executor server: 执行器, 用来执行web ui提交的工作流的任务 mysql数据库: 存 阅读全文
posted @ 2019-09-28 17:10 我の女王 阅读(365) 评论(0) 推荐(0)
azkaban使用小案例
摘要：一、hdfs的调度 1) 创建job描述文件 -- hdfs.sh #!/bin/bash /export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azaz666 -- fs.job type=command command=sh h 阅读全文
posted @ 2019-09-25 16:45 我の女王 阅读(136) 评论(0) 推荐(0)
azkaban的三种安装部署方式
摘要：一、solo server mode 该模式中webserver和executorsrever运行在同一进程中，进程名是AzkabanSingleServer，使用自带的H2数据库，这种模式包含Azkaban的所有特性，但一般用来学习和测试 1.1节点规划 HOST 角色 hadoop01 Web 阅读全文
posted @ 2019-09-25 14:41 我の女王 阅读(1160) 评论(1) 推荐(0)
Hive 窗口函数 压缩 调优
摘要：一、Hive 窗口函数（OLAP函数\分析函数） 窗口函数最重要的关键字是 partition by 和 order by 具体用法如下：over （parttion by xxx order by xxx） 1、SUM、AVG、MIN、MAX 数据： cookie1,2018-04-10,1 co 阅读全文
posted @ 2019-09-24 16:49 我の女王 阅读(744) 评论(0) 推荐(0)
Hadoop生态圈---flume
摘要：一、Flume基本介绍 1.1 什么是flume 说白了flume就是一个采集数据的软件，是cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件； flume的核心就是把数据从数据源（source）收集过来，为了保证传输的成功性，会先缓存数据（channel），待数据 阅读全文
posted @ 2019-09-24 00:45 我の女王 阅读(289) 评论(0) 推荐(0)
yarn运行机制
摘要：一、yarn运行机制 yarn是一种全新的 Hadoop资源管理器，他是一个通用资源管理平台和调度平台，可为上层应用提供统一的资源管理和调度，mapreduce等运算程序则相当于运行于操作紫铜上的应用程序，yarn为这些程序提供运算所需的资源内存、cpu（） yarn并不清楚用户提交的程序的运行机制 阅读全文
posted @ 2019-09-22 22:01 我の女王 阅读(664) 评论(0) 推荐(0)
Hive DDL和简单函数
摘要：一、DDL操作 1、修改表 1、1增加分区 --一次添加一个分区 alter table tablename add partition (dt='20000202') location '要填在的表在hafs上的实际路径'; --一次添加多个分区 alter table tabelname add 阅读全文
posted @ 2019-09-22 16:37 我の女王 阅读(238) 评论(0) 推荐(0)
Linux常用命令
摘要：一、终端命令格式 command [-options] [parameter] command ：命令名，相应功能的英文单词或单词的缩写 [-options]： 选项，可用来对命令进行控制，也可以省略 parameter：传给命令的参数，可以是零个，一个或者多个 1.1常用命令的基本使用 常用命令 阅读全文
posted @ 2019-09-01 20:54 我の女王 阅读(135) 评论(0) 推荐(0)