别样风景天 - 博客园

大数据学习（14）—— HBase进阶

摘要： HBase读写流程在网上找了一张图，这个画的比较简单，就拿这个图来说吧。写流程 1.当Client发起一个Put请求时，首先访问Zookeeper获取hbase:meta表。 2.从hbase:meta表查询即将写入数据的Region位置。 3.Client向目标RegionServer发出写命阅读全文

posted @ 2020-11-28 10:14 别样风景天阅读(164) 评论(0) 推荐(0)

大数据学习（13）—— HBase入门

摘要：从这一篇起，开始介绍HBase相关知识。还是一样，大数据的学习，获取官网知识很重要。官网看这里Apache HBase HBase简介 Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Use 阅读全文

posted @ 2020-11-18 12:47 别样风景天阅读(433) 评论(0) 推荐(0)

大数据学习（12）—— Hive Server2服务

摘要：什么是Hive Server2 上一篇我们启动了hive --service metastore服务，可以通过命令行来访问hive服务，但是它不支持多客户端同时访问，参见官网说明：HiveServer cannot handle concurrent requests from more than 阅读全文

posted @ 2020-11-08 07:38 别样风景天阅读(1367) 评论(0) 推荐(0)

大数据学习（11）—— Hive元数据服务模式搭建

摘要：这一篇介绍Hive的安装及操作。版本是Hive3.1.2。调整部署节点在Hadoop篇里，我用了5台虚拟机来搭建集群，但是我的电脑只有8G内存，虚拟机启动之后卡到没法操作，把自己坑惨了。 Hive的运行是基于Hadoop集群的，为了操作的流畅性，我把Hadoop集群全部重新搭建了，一共只有3台虚阅读全文

posted @ 2020-11-02 00:10 别样风景天阅读(1394) 评论(0) 推荐(0)

大数据学习（10）—— Hive进阶

摘要：前面提到了Hive的知识点非常零散，我不知道该怎么把这些知识点分类，跟SQL关系没那么大的就放在这一篇吧。 Hive Serde 参考Hive Serde Serde是啥 Serde是序列化和反序列化的简称。为啥这么说？序列化是Serializer，反序列化是Deserializer，各取前几个字母阅读全文

posted @ 2020-09-09 22:39 别样风景天阅读(275) 评论(0) 推荐(0)

大数据学习（09）—— Hive语法

摘要： Hive官方网站上有详细的语法说明，参考LanguageManual。这里我把最常用的几块列出来。 HIVE DDL Database 建库语句 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_com 阅读全文

posted @ 2020-09-02 15:55 别样风景天阅读(437) 评论(0) 推荐(0)

大数据学习（08）—— Hive简介

摘要：前面的Hadoop学习是非常体系化的，有主线有细节。到了Hive这里，知识点非常零散，感觉没有什么主线能把它串起来。从官方网站上就能看出这点差异。什么是Hive Hive是一个基于Hadoop的企业级数据仓库，它的图标是大象头和蜜蜂身体。大象头表示它跟Hadoop有非常紧密的联系。 Hive通过类阅读全文

posted @ 2020-08-30 07:53 别样风景天阅读(660) 评论(0) 推荐(0)

大数据学习（07）——Hadoop3.3高可用环境搭建

摘要：前面用了五篇文章来介绍Hadoop的相关模块，理论学完还得操作一把才能加深理解。这一篇我会花相当长的时间从环境搭建开始，到怎么在使用Hadoop，逐步介绍Hadoop的使用。本篇分这么几段内容：规划部署节点节点免密和网络配置 zookeeper分布式集群搭建 Hadoop分布式集群搭建 IDE 阅读全文

posted @ 2020-08-01 18:49 别样风景天阅读(1479) 评论(0) 推荐(0)

大数据学习（06）——Ozone介绍

摘要：前面几篇文章把Hadoop常用的模块都学习了，剩下一个新模块Ozone，截止到今天最新版本是0.5.0Beta，还没出正式版。好在官方网站有文档，还是中文版的，但是中文版资料没有翻译完整，我试着把它都翻译一下。参考《Apache Hadoop Ozone》。什么是Ozone Ozone 是 Ha 阅读全文

posted @ 2020-07-29 23:17 别样风景天阅读(2014) 评论(0) 推荐(0)

大数据学习（05）——MapReduce/Yarn架构

摘要： Hadoop1.x中的MapReduce MapReduce作为Hadoop最核心的两个组件之一，在1.0版本中就已经存在了。它包含这么几个角色： Client 多数情况下Client的作用就是向服务端发送请求并返回结果。但是在MapReduce里，Client的作用可不小。 Client根据传入的阅读全文

posted @ 2020-07-26 00:13 别样风景天阅读(301) 评论(0) 推荐(0)