2015年3月14日

spark 1.3 发布了

摘要： 悄悄地，spark 还是像往常一样，发布了1.3版本，从release notes可以看出，这一版本比较大的变化是1. 增加了DataFrame API，这样以后操作一些结构化的数据集时将会变的非常方便，它可以通过数据源如Hive tables, JSON data, a JDBC databa... 阅读全文

posted @ 2015-03-14 12:52 Ai_togic 阅读(912) 评论(0) 推荐(1) 编辑

spark 源码导读5 列举spark引用的框架和算法

摘要： 谈起spark，我们首先想到的是其运算速度的提升上，另外是其支持批处理、交互式、迭代和流计算等，其实spark还有一个很大的优势是其源码的数量上，非常精简，这对于我们阅读源码，在心理上克服了一个很大的障碍。为什么会这样？ 一方面是spark采用了高效（主要从代码量上说）的scala语言编写，另一... 阅读全文

posted @ 2015-03-14 11:49 Ai_togic 阅读(364) 评论(0) 推荐(0) 编辑

导航