随笔分类 -  大数据相关技术

Phoenix(SQL On HBase)
摘要：1.简介 Phoenix是一个HBase框架，可以通过SQL的方式来操作HBase。 Phoenix是构建在HBase上的一个SQL层，是内嵌在HBase中的JDBC驱动，能够让用户使用标准的JDBC来操作HBase。 Phoenix使用JAVA语言进行编写，其查询引擎会将SQL查询语句转换成一个或 阅读全文
posted @ 2019-01-11 18:30 辣鸡小篮子 阅读(20533) 评论(0) 推荐(3)
HBase海量数据存储
摘要：HBase HBase是一个基于HDFS的非关系型数据库（海量数据存储） HBase的特点 1.海量数据存储，HBase中的表可以容纳上百亿行x上百万列的数据。 2.列式存储，HBase中的数据是基于列进行存储的，能够动态的增加和删除列。 3.准实时查询，HBase在海量的数据量下能够接近准实时的查 阅读全文
posted @ 2019-01-04 18:13 辣鸡小篮子 阅读(9503) 评论(0) 推荐(1)
Hadoop高可用集群
摘要：Hadoop高可用集群 由于一个HDFS集群由一个NameNode节点和多个DataNode节点组成，一旦NameNode节点宕机，那么HDFS将不能进行文件的上传与下载。 由于一个Yarn集群由一个ResourceManager节点和多个NodeManager节点组成，一旦ResourceMana 阅读全文
posted @ 2018-11-13 09:39 辣鸡小篮子 阅读(4170) 评论(0) 推荐(3)
Hadoop集群管理
摘要：Hadoop集群管理 Hadoop是大数据通用处理平台，提供了分布式文件存储以及分布式离线并行计算，由于Hadoop的高拓展性，在使用Hadoop时通常以集群的方式运行，集群中的节点可达上千个，能够处理PB级的数据。 Hadoop各个模块剖析：https://www.cnblogs.com/funy 阅读全文
posted @ 2018-11-12 09:47 辣鸡小篮子 阅读(7068) 评论(0) 推荐(1)
Hadoop大数据通用处理平台
摘要：Hadoop Hadoop是一款开源的大数据通用处理平台，其提供了3个组件，分别是HDFS分布式文件系统、YARN分布式资源调度、MapReduce分布式离线计算。 MapReduce适合大规模的数据同时对实时性要求不高的场景，不适合大量的小文件以及频繁修改的文件。 Hadoop的特点 1.水平扩展 阅读全文
posted @ 2018-11-06 20:07 辣鸡小篮子 阅读(9531) 评论(1) 推荐(6)
Flume日志采集系统
摘要：1.简介 Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。 Flume支持在日志系统中定制各类数据发送方用于收集数据，同时Flume提供对数据进行简单的处理并写到各种数据接受方的能力。 当前Flume有两个版本，Flume 0.9X版本的统称Flume- 阅读全文
posted @ 2018-03-31 15:47 辣鸡小篮子 阅读(1035) 评论(0) 推荐(0)