随笔分类 -  spark

spark、storm与Hadoop
摘要：1. Storm是什么，怎么做，如何做的更好？Storm是一个开源的分布式实时计算系统，它可以简单、可靠地处理大量的数据流。Storm有很多应用场景，如实时分析、在线机器学习、持续计算、分布式RPC、ETL，等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一... 阅读全文
posted @ 2015-06-28 20:57 孟想阳光 阅读(1032) 评论(0) 推荐(0)
Spark学习小记1
摘要：Spark is what:Spache Spark is an open source clustercomputing system that aims to make dataanalytics fast — both fast to run and fast towriteBDAS:meso... 阅读全文
posted @ 2015-04-25 20:41 孟想阳光 阅读(560) 评论(0) 推荐(0)
IDEA
摘要：1 IntelliJ IDEA是一款非常优秀的JAVA编辑器，是jetbrain开发的一个IDE，用于Java、Groovy、Scala等的开发，自称是当前最智能的Java开发环境（The most intelligent IDE for Java platform），相对于其他开发工具来说，其对于... 阅读全文
posted @ 2015-04-23 21:19 孟想阳光 阅读(422) 评论(1) 推荐(0)
scala学习小记1
摘要：scala简介：scala基于JVM的FP+OO（函数编程和面向对象编程）• 静态类型• 和Java互操作解释器(interpreter)• 值与变量(val & var)• 函数(Function)scala安装：1. 官网下载下载http://www.scala-lang.org/downloa... 阅读全文
posted @ 2015-04-23 21:06 孟想阳光 阅读(200) 评论(0) 推荐(0)
与 Hadoop 对比，如何看待 Spark 技术？
摘要：主要是先看MapReduce模型有什么问题？第一：需要写很多底层的代码不够高效，第二：所有的事情必须要转化成两个操作Map/Reduce，这本身就很奇怪，也不能解决所有的情况。其实Spark出现就是为了解决上面的问题。介绍一些Spark的起源。发自 2010年Berkeley AMPLab，发表在h... 阅读全文
posted @ 2015-04-22 23:49 孟想阳光 阅读(267) 评论(0) 推荐(0)