二、Hadoop大数据处理架构

一、概述

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。是一个能够对大量数据进行分布式处理的软件框架。由Java开发，但开发其应用可以使用多种语言，C，C++，跨平台性非常好。

两大核心：解决了分布式存储和分布式处理两大问题

  1. HDFS（Hadoop Distributed File System）
  2. MapRedue

Hadoop 2.0 （Apache免费开源，企业版可以选择Cloudera，更方面都更优异(安装，计算等)）

  • MapReduce（离线计算，批处理，基于磁盘），Spark（与MapReduce类似，基于内存，所以性能更优）
  • YARN（资源分配，CPU，内存等等）
  • HDFS（分布式储存）

下面是更详细的Hadoop生态系统

 

posted on 2018-12-25 23:13  TheExile  阅读(351)  评论(0)    收藏  举报

导航