随笔分类 -  大数据

上一页 1 2
HDFS 联邦机制的特性以及联邦集群的配置和管理
摘要：背景 HDFS有两个主要层: Namespace命名空间 由目录、文件和块组成 它支持所有与命名空间相关的文件系统操作，如创建、删除、修改和列出文件和目录 Block管理服务 块管理(在 Namenode 中完成) 通过处理注册和周期性心跳提供数据阳极群集成员资格 处理块报告并维护块的位置 支持块相 阅读全文
posted @ 2021-01-27 20:04 数大招疯-公众号同名 阅读(983) 评论(0) 推荐(0)
Hadoop本地库 Native Libraries
摘要：Hadoop本地库 由于性能和 Java 不可实现功能等原因，Hadoop 具有某些组件的本地实现。在 unix 平台上，该库命名为 libhadoop.so。 用法 使用本地 hadoop 库相当简单: 可以下载一个hadoop发行版，它将包含原生hadoop库的预构建版本，也可以自己编译构建原生 阅读全文
posted @ 2021-01-27 20:02 数大招疯-公众号同名 阅读(428) 评论(0) 推荐(0)
01 个人电脑上，快速搭建hadoop环境
摘要：目的 本文档介绍了如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。 先决条件 支持平台 支持GNU / Linux作为开发和生产平台。Hadoop在具有2000个节点的GNU / Linux集群上得到了证 阅读全文
posted @ 2021-01-27 20:01 数大招疯-公众号同名 阅读(313) 评论(0) 推荐(0)
HBase中MemStore的刷写触发机制
摘要：触发MemStore刷写的机制大概分为：人为手动触发、HBase定时触发、HLog数量限制触发，其他事件触发（Compact、Split、Truncate等）、内存限制触发。其中内存限制触发细分为：MemStore级别限制触发、Region级别限制触发、RegionServer级别限制触发。 阅读全文
posted @ 2021-01-26 21:15 数大招疯-公众号同名 阅读(255) 评论(0) 推荐(0)
HBase到底是列式存储还是行式存储？
摘要：如果HBase中的一张表只有一个列族的话，等于是这个列族包含了这张表的所有列，也就是将表正行的数据连续存储在了一起，就等于是行式存储了。再比如，一张表有多个列族，并且每个列族下仅有一列（虽然HBase不建议这么做），也就是将表的列数据连续存储在了一起，就等于是列式存储了。 阅读全文
posted @ 2021-01-26 21:12 数大招疯-公众号同名 阅读(758) 评论(0) 推荐(0)
一文了解大数据技术
摘要：由于大数据的4V等特性，给传统数据技术也带来了较大的挑战，一般将解决这些挑战的技术称为大数据技术。 阅读全文
posted @ 2021-01-26 21:11 数大招疯-公众号同名 阅读(926) 评论(0) 推荐(0)
常用大数据技术分类
摘要：最全分类，欢迎评论补充 阅读全文
posted @ 2021-01-26 21:09 数大招疯-公众号同名 阅读(257) 评论(0) 推荐(0)
Hadoop3 HDFS shell 命令指南
摘要：hadoop hdfs shell命令使用说明 阅读全文
posted @ 2021-01-26 21:03 数大招疯-公众号同名 阅读(915) 评论(0) 推荐(0)

上一页 1 2