2016 年 2月 29 日随笔档案 - trading4living

2016年2月29日

摘要： Hadoop=HDFS+Hive+Pig+... HDFS: 存储系统MapReduce：计算系统Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架Pig：基于Hadoop的语言开发的HBase:NoSQL数据库Flume：一个收集处理Hadoop 阅读全文

posted @ 2016-02-29 19:13 trading4living 阅读(154) 评论(0) 推荐(0)

大数据之二：Hadoop与Spark辨析

摘要：转载自知乎：https://www.zhihu.com/question/26568496 1） MapReduce:是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。 2） Spark:MapReduce计算框架不适合迭代计算和交互式计算，MapR 阅读全文

posted @ 2016-02-29 19:09 trading4living 阅读(208) 评论(0) 推荐(0)

大数据之一：几个概念

摘要：大数据（Big Data）大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（Veracity），合起来被称为阅读全文

posted @ 2016-02-29 18:54 trading4living 阅读(308) 评论(1) 推荐(0)