triumph丶xs

摘要： 阿里云服务器初始化步骤 安装必要依赖 yum install -y epel-release yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop pdsh git 先在had 阅读全文

摘要： Flume数据流监控--Ganglia ##1.Ganglia的安装与部署 ###1.1三台机器安装epel源 sudo yum install -y epel-release ###1.2在102安装web,meta和monitor sudo yum -y install ganglia-gmet 阅读全文

摘要： #kafka监控 ##1.将下载好的安装包解压并重命名 tar -zxvf kafka-eagle-web-2.0.0-bin.tar.gz -C /opt/module/ mv kafka-eagle-web-2.0.0/ eagle ##2.修改kafka启动命令 （让kafka通过一个端口把数 阅读全文

摘要： #kafka ##1.kafka基础架构 Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被所有订阅者消费。 （1）Producer ： 阅读全文

摘要： #Flume 进阶 ##1.Flume事务 数据输入端 ： source分为两种：主动拉取：Spooldir Source Taildir Source 被动推动：Exec source netcat source put事务阶段： source 会采集到批量之后才会执行put事务流程， do co 阅读全文

摘要： #Flume概述 ##1.Flume概述 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 Flume适用于各种数据采集的场景，减少代码的书写 如果不采用flume，针对不同的应用场景都需要编写客户端，代码量比较大， 阅读全文

摘要： #一、hive sql 的练习 1)数据结构 字段 备注 详细描述 video id 视频唯一id（String） 11位字符串 uploader 视频上传者（String） 上传视频的用户名String age 视频年龄（int） 视频在平台上的整数天 category 视频类别（Array<St 阅读全文

摘要： #String的substring()的用法总结 substring() 方法返回字符串的子字符串。 1.public String substring(int beginIndex) :截取 索引位置beginIndex（包括） 到 字符串最后 2.public String substring( 阅读全文

摘要： #Hive 的函数 ##1.系统内置函数 1）查看系统自带的函数 show functions; show functions like "date"; 2）显示自带的函数的用法 desc function upper; desc function 'current_date' 记住带下划线的需要加 阅读全文

摘要： #1.Hive查询 ##1.基本查询（Select…From） ###1.1全表和特定列查询 一、数据准备 1.创建部门表 create table if not exists dept( deptno int, dname string, loc int ) row format delimite 阅读全文