随笔分类 -  hadoop

摘要:一、目录 1、zookeeper是什么? 2、安装、配置、启动、监控 3、javaApi基础用法 4、应用场景 5、CAP理论/paxos算法 二、zookeeper简介 官方版:zookeeper是 一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实 阅读全文
posted @ 2017-06-26 19:01 码农皮邱 阅读(1614) 评论(2) 推荐(0)
摘要:目录-探索mapreduce 1、Mapreduce的模型简介与特性?Yarn的作用? 2、mapreduce的工作原理是怎样的? 3、配置Yarn与Mapreduce、演示Mapreduce例子程序 4、javaApi开发Mapreduce程序 发散思考-入门mapreduce 思考题:假设有一个 阅读全文
posted @ 2017-06-06 09:36 码农皮邱 阅读(889) 评论(0) 推荐(0)
摘要:层层递进-解开hdfs的面纱 1、hdfs是什么?它与普通服务器的文件系统有什么区别?它的特性有什么? 2、hdfs的工作原理是怎样的? 3、每台机器都单独启动有什么弊端?假设有1000台机器需要启动?该怎么解决呢? 4、hdfs配置与使用 5、利用javaApi充当客户端访问hdfs hdfs简介 阅读全文
posted @ 2017-05-06 21:54 码农皮邱 阅读(584) 评论(0) 推荐(0)
摘要:简介与环境准备 hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce。近年,随着大数据、云计算、物联网的兴起,也极大的吸引了我的兴趣,看了网上很多文章,感觉还是云里雾里,很多不必要的配置都在入门教程出现。通过思考总结与相关教程,我想通过简单的方式传递给同样想入门hadoop的同 阅读全文
posted @ 2017-05-06 14:18 码农皮邱 阅读(2646) 评论(8) 推荐(4)