随笔分类 -  spark操作

Spark常用RDD操作总结
摘要：aggregateByKey 函数原型：aggregateByKey(zeroValue, seqFunc, combFunc, numPartitions=None) 参数与aggregate相同 根据key进行合并 上例稍加改动可以完成一个wordcounts 参数与aggregate相同 根据 阅读全文
posted @ 2017-07-26 16:16 亢奋的小马哥 阅读(3379) 评论(0) 推荐(0)
Spark Rowmatrix 分布式矩阵
摘要：CoordinateMatrix坐标矩阵 阅读全文
posted @ 2017-07-21 10:19 亢奋的小马哥 阅读(3028) 评论(0) 推荐(0)
SparkSql之DataFrame操作
摘要：Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。 本文中的代码基于Spark-1.6.2的文档实现。 一、DataFrame对象的生成 阅读全文
posted @ 2017-07-06 16:15 亢奋的小马哥 阅读(5690) 评论(0) 推荐(0)