摘要：1.Hadoop入门之部署篇 2.Hadoop之HDFS(一)概述与常用Shell操作 3.Hadoop之HDFS(二)HDFS工作机制和集群安全模式 4.Hadoop之HDFS(三)HDFS API操作示例和读写流程 5.Hadoop之MapReduce(一)初识 6.Hadoop之MapRedu 阅读全文

摘要：1.MapReduce介绍 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 MapReduce的作用就是大 阅读全文

摘要：1.HDFS API示例 1.1 Client API 1）准备工作 本人习惯使用Ubuntu，ide工具则是idea，如果是windows系统或者eclipse自行百度吧，我没有试过。 老套路，创建Maven工程，导入依赖 <dependencies> <dependency> <groupId> 阅读全文

摘要：1.HDFS概述 1.1 HDFS简介 HDFS(Hadoop Distributed File System) ，Hadoop分布式文件系统，用来解决海量数据的存储问题。 1.2 HDFS的特点 优势 高容错性：HDFS多副本分布式存储，当一个副本丢失了，能够自动恢复，所以HDFS具有高容错性，默 阅读全文

摘要：Hadoop概述与部署 参考: http://hadoop.apache.org/docs/r3.1.3/index.html 1.Hadoop概述 什么是Hadoop？ Hadoop是由Apache基金会开发的分布式系统基础架构，用来解决海量数据的存储和分析计算问题。 Hadoop的优势 高可靠： 阅读全文