Spark-Graphx系列-基础用法

一.简介

Spark GraphX是一个并行图计算框架,它是基于Spark平台提供对图计算和挖掘简洁易用的而丰富的接口,极大的方便了对饼形图处理的需求。在GraphX中,图的基础类为Graph,它包含两个RDD:一个为边RDD,另一个为顶点RDD。

与其他图处理系统和图数据库相比,基于图概念和图处理原语的GraphX,它的一大优势在于,既可以将底层数据看作一个完整地图,使用图的概念和图处理原语:也可以将它们看作独立的边RDD和顶点RDD,使用数据并行处理原语,进行mapped、joined、transformed等操作。

二.特点

灵活性高

图可以和集合进行无缝对接,GraphX统一了单个系统中的ETL、探索性分析和迭代图计算。您可以查看与图形和集合相同的数据,有效地使用RDD 转换和图的连接操作,以及使用 Pregel API 编写自定义迭代图算法。

速度快

可以与最快的专业图形处理系统相媲美。

GraphX与最快的图形系统竞争性能,同时保留Spark的灵活性,容错性和易用性。

算法多

从不断增加的图算法库中进行选择。

除了高度灵活的API之外,GraphX还提供了各种图形算法,其中许多都是由我们的用户提供的。网页排名,连接组件,标签传播,SVD ++,强大的连接组件以及三角计数等。

三.案例


                
posted @ 2020-06-08 11:26  Dlimeng  阅读(25)  评论(0)    收藏  举报  来源