Spark - 随笔分类 - tigerloveapple

大数据开源技术分类

摘要：hadoop 分布式处理大数据的框架分为三个阶段： 1）data -db -user/app 2）data - 存储hdfs - 处理mapreduce - user/apps 大数据开源技术分类 3）DATA - 数据传输/采集 - 数据处理 - 数据存储 - 数据查询 - users/apps 阅读全文

posted @ 2018-09-16 13:07 tigerloveapple 阅读(840) 评论(0) 推荐(0)

Spark_总结五

摘要：1.Storm 和 SparkStreaming区别 Storm 纯实时的流式处理，来一条数据就立即进行处理SparkStreaming微批处理，每次处理的都是一批非常小的数据Storm支持动态调整并行度（动态的资源分配），SparkStreaming(粗粒度，比较消耗资源) Storm 纯实时的阅读全文

posted @ 2017-09-01 13:32 tigerloveapple 阅读(733) 评论(0) 推荐(0)

科普Spark，Spark是什么，如何使用Spark

摘要：科普Spark，Spark是什么，如何使用Spark 1.Spark基于什么算法的分布式计算（很简单） 2.Spark与MapReduce不同在什么地方 3.Spark为什么比Hadoop灵活 4.Spark局限是什么 5.什么情况下适合使用Spark 什么是Spark Spark是UC Berke 阅读全文

posted @ 2017-09-01 13:26 tigerloveapple 阅读(6515) 评论(0) 推荐(0)

随笔分类 - Spark