hanease

2022年5月3日

摘要： 1.工作流调度器 1.为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如，我们可阅读全文

posted @ 2022-05-03 14:08 hanease 阅读(296) 评论(0) 推荐(0)

Hive教程

摘要： Hive是基于Hadoop的一个数据仓库工具可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储支持，也可以说hive就是一个MapReduce的客户端 Hive与数据库的区别 Hive的优缺点阅读全文

posted @ 2022-05-03 08:36 hanease 阅读(588) 评论(0) 推荐(0)

2022年5月2日

HBase-4MapReduce

摘要：集成分析 HBase表中的数据最终都是存储在HDFS上，HBase天生的支持MR的操作，我们可以通过MR直接处理HBase表中的数据，并且MR可以将处理后的结果直接存储到HBase表中。参考地址：http://hbase.apache.org/book.html#mapreduce 1 实现方式一阅读全文

posted @ 2022-05-02 22:40 hanease 阅读(88) 评论(0) 推荐(0)

HBase-3rowkey的设计

摘要： HBase表热点 1 什么是热点检索habse的记录首先要通过row key来定位数据行。当大量的client访问hbase集群的一个或少数几个节点，造成少数region server的读/写请求过多、负载过大，而其他region server负载却很小，就造成了“热点”现象。 2 热点的解决方阅读全文

posted @ 2022-05-02 22:38 hanease 阅读(223) 评论(0) 推荐(0)

HBase-2JavaAPI操作

摘要： HBase是一个分布式的NoSql数据库，在实际工作当中，我们一般都可以通过JavaAPI来进行各种数据的操作，包括创建表，以及数据的增删改查等等 1 创建maven工程讲如下内容作为maven工程中pom.xml的repositories的内容自动导包 <?xml version="1.0" 阅读全文

posted @ 2022-05-02 22:37 hanease 阅读(156) 评论(0) 推荐(0)

HBase-1集群安装部署

摘要： 1.1 准备安装包下载安装包并上传到hadoop01服务器安装包下载地址：https://www.apache.org/dyn/closer.lua/hbase/2.2.6/hbase-2.2.6-bin.tar.gz 将安装包上传到node01服务器/bigdata/softwares路径下，阅读全文

posted @ 2022-05-02 22:34 hanease 阅读(196) 评论(0) 推荐(0)

w3cschool-HBase官方文档-3MapReduce

摘要： HBase和MapReduce 2018-03-30 13:59 更新 HBase和MapReduce Apache MapReduce 是一个用于分析大量数据的软件框架。它由 Apache Hadoop 提供。MapReduce 本身超出了本文档的范围。开始使用 MapReduce 的好地方是 h 阅读全文

posted @ 2022-05-02 21:31 hanease 阅读(86) 评论(0) 推荐(0)

w3cschool-HBase官方文档-2数据模型

摘要： HBase数据模型 2018-03-03 15:20 更新 HBase数据模型在 HBase 中，数据模型同样是由表组成的，各个表中又包含数据行和列，在这些表中存储了 HBase 数据。在本节中，我们将介绍 HBase 数据模型中的一些术语。 HBase数据模型术语表（Table） HBase 阅读全文

posted @ 2022-05-02 15:10 hanease 阅读(100) 评论(0) 推荐(0)

2022年5月1日

w3cschool-HBase官方文档-1配置

摘要： https://www.w3cschool.cn/hbase_doc/ HBase 概述 HBase是Apache的Hadoop项目的子项目，是Hadoop Database的简称。 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建阅读全文

posted @ 2022-05-01 13:18 hanease 阅读(386) 评论(0) 推荐(0)

2022年4月30日

ClickHouse-5操作

摘要： ClickHouse操作手册由以下主要部分组成：安装要求监控故障排除使用建议更新程序访问权限数据备份配置文件配额系统表服务器配置参数如何用ClickHouse测试你的硬件设置实用工具必备条件 CPU 如果您使用预编译的DEB/RPM包安装ClickHouse，请使用支阅读全文

posted @ 2022-04-30 21:12 hanease 阅读(782) 评论(0) 推荐(0)

公告