hadoop - 随笔分类 - liudehaos

HBase学习（四）二级索引 rowkey设计

摘要：HBase学习（四）一、HBase的读写流程画出架构 1.1 HBase读流程 Hbase读取数据的流程：1）是由客户端发起读取数据的请求，首先会与zookeeper建立连接2）从zookeeper中获取一个hbase:meta表位置信息，被哪一个regionserver所管理着 hbase:m 阅读全文

posted @ 2022-06-23 16:10 liudehaos 阅读(1239) 评论(0) 推荐(0)

Hbase学习（三）过滤器 java API

摘要：Hbase学习（三）过滤器 HBase 的基本 API，包括增、删、改、查等。增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（阅读全文

posted @ 2022-06-23 15:57 liudehaos 阅读(218) 评论(0) 推荐(0)

HBase学习（二）基本命令 Java api

摘要：一、Hbase shell 1、Region信息观察创建表指定命名空间在创建表的时候可以选择创建到bigdata17这个namespace中，如何实现呢？使用这种格式即可：‘命名空间名称:表名’ 针对default这个命名空间，在使用的时候可以省略不写 create 'bigdata17:t1 阅读全文

posted @ 2022-06-23 15:55 liudehaos 阅读(223) 评论(0) 推荐(0)

HBase学习（一）基本概念和安装基本命令

摘要：HBase学习（一）一、了解HBase 官方文档：https://hbase.apache.org/book.html 1.1 HBase概述 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据 HBase是Hadoop的生态系统之阅读全文

posted @ 2022-06-23 15:51 liudehaos 阅读(85) 评论(0) 推荐(0)

大数据--Hive的安装以及三种交互方式

摘要：1.3 Hive的安装(前提是：mysql和hadoop必须已经成功启动了) 在之前博客中我有记录安装JDK和Hadoop和Mysql的过程，如果还没有安装，请先进行安装配置好，对应的随笔我也提供了百度云下载连接。安装JDK: https://www.cnblogs.com/wyh-study/p 阅读全文

posted @ 2022-06-06 10:49 liudehaos 阅读(251) 评论(0) 推荐(0)

Hadoop - MapReduce 过程

摘要：

Hadoop - MapReduce 一、MapReduce设计理念 map >映射 reduce >归纳 mapreduce必须构建在hdfs之上的一种大数据离线计算框架在线：实时数据处理离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果 mapreduce不会马上得到结果，他会有阅读全文

posted @ 2022-05-26 22:39 liudehaos 阅读(112) 评论(0) 推荐(0)

Hadoop学习 Hadoop-HA 解释和概念介绍

摘要：一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集只有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生意外事件阅读全文

posted @ 2022-05-25 21:47 liudehaos 阅读(210) 评论(0) 推荐(0)

Hadoop-HA 搭建高可用集群Hadoop Zookeeper

摘要：Hadoop Zookeeper 搭建（一）一、准备工作 VMWARE虚拟机 CentOS 7 系统虚拟机1：master 虚拟机2：node1 虚拟机3：node2 时间同步 ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Sha 阅读全文

posted @ 2022-05-25 21:42 liudehaos 阅读(117) 评论(0) 推荐(0)

Hadoop中HDFS 的相关进程以及工作流程图（详细流程图）

摘要：

阅读全文

posted @ 2022-05-24 21:49 liudehaos 阅读(126) 评论(0) 推荐(0)

Hadoop集群搭建（完全分布式版本） VMWARE虚拟机

摘要：Hadoop集群搭建（完全分布式版本） VMWARE虚拟机一、准备工作三台虚拟机：master、node1、node2 时间同步 ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime jdk 阅读全文

posted @ 2022-05-21 20:04 liudehaos 阅读(478) 评论(0) 推荐(0)

liudehaos

公告

随笔分类 - hadoop