摘要：
MapReduce MapReduce介绍： MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心 是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的 阅读全文
posted @ 2020-08-28 15:31
17_Xtreme
阅读(168)
评论(0)
推荐(0)
摘要：
HDFS 的 API 操作 配置Windows下Hadoop环境 在windows系统需要配置hadoop运行环境，否则直接运行代码会出现以下问题: 缺少winutils.exe Could not locate executable null \bin\winutils.exe in the ha 阅读全文
posted @ 2020-08-28 14:28
17_Xtreme
阅读(249)
评论(0)
推荐(0)
摘要：
1.hdfs的高级使用命令 1.1HDFS文件限额配置 在多人共用HDFS的环境下，配置设置非常重要。特别是在Hadoop处理大量资料的环境，如 果没有配额管理，很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目录 而不是针对账号，可以 让每个账号仅操作某一个目录，然后对目录设置配置 阅读全文
posted @ 2020-08-28 13:28
17_Xtreme
阅读(225)
评论(0)
推荐(0)
摘要：
HDFS概述 HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常 适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存 储文件, 并且提供统一的访问接 阅读全文
posted @ 2020-08-28 11:32
17_Xtreme
阅读(149)
评论(0)
推荐(0)
浙公网安备 33010602011771号