软工新人

摘要： Spark Streaming VS Storm image.png 优势 从上图中可以看出，Spark Streaming绝对谈不上比Storm优秀，这两个框架在实时计算领域中，都很优秀，只是擅长的细分场景并不相同； Spark Streaming仅仅在吞吐量上比Storm要优秀，但问题是，是不是 阅读全文

摘要： DStream DStream：Discretized Stream，离散流，Spark Streaming提供的一种高级抽象，代表了一个持续不断的数据流； DStream可以通过输入数据源来创建，比如Kafka、Flume，也可以通过对其他DStream应用高阶函数来创建，比如map、reduce 阅读全文

摘要： Spark Streaming工作原理 Spark Streaming内部的基本工作原理：接收实时输入数据流，然后将数据拆分成多个batch，比如每收集1s的数据封装为一个batch， 然后将每个batch交给Spark的计算引擎进行处理，最后会生产出一个结果数据流，其中的数据，也是一个个的batc 阅读全文

摘要： Spark Streaming简介 Spark Streaming：Spark提供的，对于大数据进行实时计算的一种框架；它的底层，也是基于Spark Core的； 其基本的计算模型，还是基于内存的大数据实时计算模型RDD，只不过，针对实时计算的特点，在RDD之上，进行了一层封装，叫做DStream（ 阅读全文

摘要： Tachyon Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让不同的 Jobs/Queries以及框架都能内存的 阅读全文

摘要： SparkR SparkR是AMPLab发布的一个R开发包，使得R摆脱单机运行的命运，可以作为Spark的job运行在集群上，极大得扩展了R的数据处理能力。 SparkR的几个特性： l 提供了Spark中弹性分布式数据集（RDD）的API，用户可以在集群上通过R shell交互性的运行Spark 阅读全文

摘要： GraphX GraphX是Spark中用于图(e.g., Web-Graphs and Social Networks)和图并行计算(e.g., PageRank and Collaborative Filtering)的API,可以认为是GraphLab(C++)和Pregel(C++)在Spa 阅读全文

摘要： BlinkDB BlinkDB 是一个用于在海量数据上运行交互式 SQL 查询的大规模并行查询引擎，它允许用户通过权衡数据精度来提升查询响应时间，其数据的精度被控制在允许的误差范围内。为了达到这个目标，BlinkDB 使用两个核心思想: l一个自适应优化框架，从原始数据随着时间的推移建立并维护一组多 阅读全文

摘要： MLBase/MLlib MLBase是Spark生态圈的一部分专注于机器学习，让机器学习的门槛更低，让一些可能并不了解机器学习的用户也能方便地使用MLbase。MLBase分为四部分：MLlib、MLI、ML Optimizer和MLRuntime。 l ML Optimizer会选择它认为最适合 阅读全文

摘要： 今天回顾安卓开发，为了后一两个月时间的软件杯做准备。 首先就是先记录下重新使用安卓进行打包时遇到的问题：将apk打包在自己的手机上进行安装时出现类似“解析错误”这样的问题，我在网上搜索相关内容，网上说了在build.grade里面的 defaultConfig有一项“minSdkVersion”需要 阅读全文