摘要：一、背景： 随着互联网的发展、互联网用户的增加，互联网中的数据也急剧膨胀。每天产生的数据量数以万计，本地文件系统和单机CPU已无法满足存储和计算要求。Hadoop分布式文件系统(HDFS)是海量数据存储的重要技术，它将数据存储在多个从节点上，对这些节点的硬件资源进行统一管理与分配，并向客户端提供文件 阅读全文

摘要：今天在运行MapReduce程序时，虽然wordcount实例运行成功了，但后面出现了重新使用历史服务器失败的错误 阅读全文

摘要：最近一直在折腾使用docker一键部署全分布式hadoop集群,虽然一键部署的脚本写好了并且可以成功运行出各个节点，但在运行一个wordcount实例时出现了错误，错误如下： 问题：请求内存是1536M，而最大内存只有1024M，这个最大内存指的是运行MapReduce程序使用的最大内存，NodeM 阅读全文

摘要：本人在安装docker时之前一直采用的是系统自带的docker软件包安装，导致下载的docker不是最新版本，因此会有很多docker命令无法使用，例如network等等，现将安装docker的方式总结如下： 安装docker有三种方式： 1、通过系统自带docker软件包安装： ubuntu系统d 阅读全文

摘要：由于在国内下载docker官方镜像的速度很慢且容易报错，因此需要配置docker镜像加速器来解决这个问题，加速器就是镜像代理的概念，只代理公有镜像，报错结果如下： 配置docker镜像加速器可以加速在国内下载docker官方镜像的速度，国内有不少机构提供了免费的加速器供大家使用：修改守护进程daem 阅读全文