摘要：
Hbase是一个分布式的、面向列的开源数据库，可实时的读写、随机访问超大规模的数据集。 Hbase主要分为两种模型: 逻辑模型和物理模型 1. 逻辑模型 Hbase的名字的来源是Hadoop database，即为Hadoop数据库，从用户的角度来考虑，就是如何使用Hbase。 2. 物理模型 主要 阅读全文
posted @ 2019-11-16 09:16
七七源
阅读(313)
评论(0)
推荐(0)
摘要：
大数据hbase分布式安装及其部署。 首先要启动Hadoop以及zookeeper，可以参考前面发布的文章。 将hbase的包上传至master节点 这里我使用的是1.3.6的版本，具体的根据自己的版本来。 ~~~[root@master ~]# ls [root@master ~]# ls hba 阅读全文
posted @ 2020-04-29 15:12
七七源
阅读(298)
评论(0)
推荐(0)
摘要：
大数据的zookeeper分布式安装 **** 前面的文章已经提到Hadoop的伪分布式安装。现在就在原有的基础上安装zookeeper。 首先启动Hadoop平台 [root@master ~]# start-all.sh Starting namenodes on [master] Last l 阅读全文
posted @ 2020-04-26 10:50
七七源
阅读(239)
评论(0)
推荐(0)
摘要：
大数据伪分布式搭建 ***对于大数据这块相信大家对linux有一定的认识，所有对创建虚拟机那块就不给予详细的说明了。 基础环境的搭建 1.系统环境 平台:VMware Workstation pro 系统：centos 7 Hadoop版本： Apache Hadoop 3.0.0 本次实验是搭建一 阅读全文
posted @ 2020-03-20 12:03
七七源
阅读(606)
评论(1)
推荐(0)
摘要：
首先我们编写一个简单的Dockerfile的例子。不过再此之前大家得去把编写dockerfile的指令了解一下。 编写以 centos镜像为基础镜像，构建 http 服务，Dockerfile 要求删除镜像的 yum 源，使用当前系统的 yum 源文件，完成后安装 http 服务，此镜像要求暴露 8 阅读全文
posted @ 2019-11-29 11:21
七七源
阅读(4093)
评论(5)
推荐(2)
摘要：
大数据的定义 "Big Data"大数据是以容量大、取速度快、价值密度低为主要特征的数据集合，由于这些数据本身规模巨大、来源分散、格式多样，所以需要新的体系架构、技术、算法和分析方法来对这些数据进行采集、存储和关联分析，以期望能够从中抽取隐藏的有价值的信息。 大数据的4V特性 体量大(Volume) 阅读全文
posted @ 2019-11-27 21:38
七七源
阅读(1888)
评论(0)
推荐(0)
摘要：
1.启动先电大数据平台的 Hbase 数据库，其中要求使用 master 节点的RegionServer。在 Linux Shell 中启动 Hbase shell，查看 HBase 的版本信息。（相关数据库命令语言请全部使用小写格式） hbase(main):001:0> version 2.启动 阅读全文
posted @ 2019-11-19 09:47
七七源
阅读(626)
评论(0)
推荐(0)
摘要：
1.在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下，存在一个案例 JAR 包 hadoop-mapreduce-examples.jar。运行 JAR 包中的 PI 程序来进行计算圆周率π的近似值，要求运行 5 次 Map 任务，每个 Map 任务的投 阅读全文
posted @ 2019-11-19 09:45
七七源
阅读(282)
评论(0)
推荐(0)
摘要：
1.在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”，将附件中的BigDataSkills.txt 文件，上传到 1daoyun/file 目录中，使用相关命令查看文件系统中 1daoyun/file 目录的文件列表信息。 hadoop fs -mkdir -p /1daoy 阅读全文
posted @ 2019-11-19 09:44
七七源
阅读(328)
评论(0)
推荐(0)
浙公网安备 33010602011771号