随笔分类 - hadoop
摘要:一、目录 1、zookeeper是什么? 2、安装、配置、启动、监控 3、javaApi基础用法 4、应用场景 5、CAP理论/paxos算法 二、zookeeper简介 官方版:zookeeper是 一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实
阅读全文
摘要:目录-探索mapreduce 1、Mapreduce的模型简介与特性?Yarn的作用? 2、mapreduce的工作原理是怎样的? 3、配置Yarn与Mapreduce、演示Mapreduce例子程序 4、javaApi开发Mapreduce程序 发散思考-入门mapreduce 思考题:假设有一个
阅读全文
摘要:层层递进-解开hdfs的面纱 1、hdfs是什么?它与普通服务器的文件系统有什么区别?它的特性有什么? 2、hdfs的工作原理是怎样的? 3、每台机器都单独启动有什么弊端?假设有1000台机器需要启动?该怎么解决呢? 4、hdfs配置与使用 5、利用javaApi充当客户端访问hdfs hdfs简介
阅读全文
摘要:简介与环境准备 hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce。近年,随着大数据、云计算、物联网的兴起,也极大的吸引了我的兴趣,看了网上很多文章,感觉还是云里雾里,很多不必要的配置都在入门教程出现。通过思考总结与相关教程,我想通过简单的方式传递给同样想入门hadoop的同
阅读全文

浙公网安备 33010602011771号