hanease

2022年5月4日

摘要： HDFS shell API HDFS作为大数据的文件系统，可以放置数据文件，列举几个常用的shell脚本命令，用法和linux中的基本类似，不过这个是hadoop里的一套，所以我们要用hadoop fs开头具体可以使用hadoop fs --help 查看帮助信息例如：lshadoop fs - 阅读全文

posted @ 2022-05-04 14:19 hanease 阅读(116) 评论(0) 推荐(0)

Hadoop 概述(一)

摘要： Hadoop概述信息 hadoop 有三大组成部分，HDFS（分布式文件存储系统）、YARN（资源管理器）、MAPREDUCE（分布式计算框架） ,下边我们来简单介绍一下 HDFS 分布式文件存储系统 HDFS分布式文件系统，是由Google的GFS谷歌文件系统开源出来，其存储模型是有主从结构的，可阅读全文

posted @ 2022-05-04 14:15 hanease 阅读(195) 评论(0) 推荐(0)

消息中间件之-Kafka相关知识

摘要：前言本篇文章是我基于拉勾kafka课程所作的笔记，包括Kafka基本架构、核心概念、生产者解析、消费者解析、存储、事务、一致性保证等等，希望对大家有所帮助。一、kafka架构 Kafka基础知识 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多生产者、多订阅者，基于阅读全文

posted @ 2022-05-04 13:27 hanease 阅读(549) 评论(0) 推荐(0)

2022年5月3日

linux安装软件配置

摘要： CentOS7更换yum为阿里源 1 备份本地源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup 2 获取阿里源配置文件CentOS 6wget -O /etc/yum.repos.d/Cent 阅读全文

posted @ 2022-05-03 19:36 hanease 阅读(205) 评论(0) 推荐(0)

数据库数据实时采集--Maxwell

摘要： 1、Maxwell 简介 Maxwell 是一个能实时读取 MySQL 二进制日志文件binlog，并生成 Json格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维阅读全文

posted @ 2022-05-03 19:31 hanease 阅读(788) 评论(0) 推荐(0)

kafka介绍和使用

摘要： 1 Kafka简介 Kafka是最初由Linkedin公司开发，它是一个分布式、可分区、多副本，基于zookeeper协调的分布式日志系统；常见可以用于web/nginx日志、访问日志，消息服务等等。Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集阅读全文

posted @ 2022-05-03 19:17 hanease 阅读(139) 评论(0) 推荐(0)

ETL工具--Sqoop

摘要： 1. 概述 Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据：从Hadoop的文件系统中导出数据到关系数据库 2. Sqoop的工作机制将导入和导出的命阅读全文

posted @ 2022-05-03 14:53 hanease 阅读(317) 评论(0) 推荐(0)

日志数据采集-Flume

摘要： 1. 前言在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 2. Flume基本介绍 1. 概述 Flume是一个分布阅读全文

posted @ 2022-05-03 14:48 hanease 阅读(2442) 评论(0) 推荐(0)

工作流程调度器-DolphinScheduler

摘要： 1、DolphinScheduler简介 Apache DolphinScheduler](https://dolphinscheduler.apache.org/)（目前处在孵化阶段）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调阅读全文

posted @ 2022-05-03 14:34 hanease 阅读(862) 评论(0) 推荐(0)

数据同步工具-DataX

摘要： 1、DataX 基本介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具，致力于实现包括：关系型数据库(MySQL、Oracle等)、HDFS、Hive、HBase、ODPS、FTP等各种异构数据源之间稳定高效的数据同步功能。设计理念为了解决异构数据源同步问题，DataX将复杂的网状的阅读全文

posted @ 2022-05-03 14:32 hanease 阅读(714) 评论(0) 推荐(0)

公告