摘要：
今天在进入hbase shell终端进行数据查询和添加时，发现输入的命令无法撤回，现将解决办法写下： 1.使用Ctrl + Backspace或Shift + Backspace组合键删除2.（SecureCRT）选项--会话选项--仿真--终端--选择Linux选项--会话选项--映射键--勾上： 阅读全文
posted @ 2018-03-12 16:00
对白的算法屋
阅读(2580)
评论(0)
推荐(0)
摘要：
今天在启动HBase时发现如下错误：/bin/java: No such file or directory6/bin/../bin/hbase: line 412: /usr/local/jdk1.8.0_152/bin/java，而在我的hbase-env.sh中又JAVA_HOME，路径也是正 阅读全文
posted @ 2018-03-11 13:08
对白的算法屋
阅读(3613)
评论(0)
推荐(0)
摘要：
一、安装和启动SSH协议 假设没有安装ssh和rsync，可以通过下面命令进行安装。 假设没有安装ssh和rsync，可以通过下面命令进行安装。 sudo apt-get install ssh 安装SSH协议 sudo apt-get install rsync service sshd rest 阅读全文
posted @ 2018-03-10 22:39
对白的算法屋
阅读(165)
评论(0)
推荐(0)
摘要：
主从结构：HDFS、Yarn、HBase、storm、spark、zookeeper都存在单点故障问题 hadoop1.x没有解决方案 hadoop2.x利用zookeeper实现HA zookeeper是开源的分布式应用程序协调服务，是Google chubby的开源实现 zookeeper相当于 阅读全文
posted @ 2018-03-09 20:57
对白的算法屋
阅读(724)
评论(0)
推荐(0)
摘要：
ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍Zo 阅读全文
posted @ 2018-03-09 12:28
对白的算法屋
阅读(416)
评论(0)
推荐(0)
摘要：
转载自：https://www.cnblogs.com/S-tec-songjian/p/5740691.html Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YAR 阅读全文
posted @ 2018-03-09 11:44
对白的算法屋
阅读(231)
评论(0)
推荐(0)
摘要：
一、HBase基本概念：列式数据库 在Hadoop生态体系结构中，HBase位于HDFS（Hadoop分布式文件系统）的上一层，不依赖于MapReduce，那么如果没有HBase这种Nosql数据库会有什么影响呢？传统的关系型数据库由于存储数据有限，且其分布式结构由于本身的特点导致节点数量最大不会超 阅读全文
posted @ 2018-03-04 18:02
对白的算法屋
阅读(516)
评论(0)
推荐(0)
摘要：
一、背景： 随着互联网的发展、互联网用户的增加，互联网中的数据也急剧膨胀。每天产生的数据量数以万计，本地文件系统和单机CPU已无法满足存储和计算要求。Hadoop分布式文件系统(HDFS)是海量数据存储的重要技术，它将数据存储在多个从节点上，对这些节点的硬件资源进行统一管理与分配，并向客户端提供文件 阅读全文
posted @ 2018-03-04 18:01
对白的算法屋
阅读(2887)
评论(0)
推荐(0)
摘要：
Pig 一、Pig的介绍： Pig由Yahoo开发，主要应用于数据分析，Twitter公司大量使用Pig处理海量数据，Pig之所以是数据分析引擎，是因为Pig相当于一个翻译器，将PigLatin语句翻译成MapReduce程序（只有在执行dump和store命令时才会翻译成MapReduce程序）， 阅读全文
posted @ 2018-03-04 18:00
对白的算法屋
阅读(3447)
评论(0)
推荐(0)
摘要：
一、Sqoop的简介： Sqoop是一个数据采集引擎/数据交换引擎，采集关系型数据库（RDBMS）中的数据，主要用于在RDBMS与HDFS/Hive/HBase之间进行数据传递，可以通过sqoop import命令将RDBMS中的数据导入到HDFS/Hive/HBase中，也可以通过sqoop ex 阅读全文
posted @ 2018-03-04 17:59
对白的算法屋
阅读(2162)
评论(0)
推荐(0)
浙公网安备 33010602011771号