摘要：
一、Connected Components算法 Connected Components即连通体算法用id标注图中每个连通体，将连通体中序号最小的顶点的id作为连通体的id。如果在图G中，任意2个顶点之间都存在路径，那么称G为连通图，否则称该图为非连通图，则其中的极大连通子图称为连通体，如下图所示 阅读全文
posted @ 2020-10-12 11:48
PEAR2020
阅读(784)
评论(0)
推荐(0)
摘要：
Pregel是Google提出的用于大规模分布式图计算框架 图遍历（BFS） 单源最短路径（SSSP） PageRank计算 Pregel的计算由一系列迭代组成，称为supersteps Pregel迭代过程 每个顶点从上一个superstep接收入站消息 计算顶点新的属性值 在下一个superst 阅读全文
posted @ 2020-10-11 16:52
PEAR2020
阅读(259)
评论(0)
推荐(0)
摘要：
PageRank（PR）算法 用于评估网页链接的质量和数量，以确定该网页的重要性和权威性的相对分数，范围为0到10 从本质上讲，PageRank是找出图中顶点（网页链接）的重要性 GraphX提供了PageRank API用于计算图的PageRank 使用方法： graph.pageRank(0.0 阅读全文
posted @ 2020-10-10 20:23
PEAR2020
阅读(719)
评论(0)
推荐(0)
摘要：
import org.apache.spark.sql.SparkSession import scala.util.Random object TestSortBy { def main(args: Array[String]): Unit = { val spark = SparkSession 阅读全文
posted @ 2020-10-10 14:20
PEAR2020
阅读(2839)
评论(0)
推荐(0)
摘要：
一、数据：user和各自粉丝的关系 ((User47,86566510),(User83,15647839)) ((User47,86566510),(User83,15647839)) ((User47,86566510),(User83,15647839)) ((User47,86566510) 阅读全文
posted @ 2020-10-10 14:19
PEAR2020
阅读(181)
评论(0)
推荐(0)
摘要：
问题原因：问题是使用自己的maven操作不规范造成的。 解决方法：更改为标准目录结构 （1）、添加目录repository和复制settings.xml文件 （2）、更改IDEA内的setting设置 （3）、成功后： 阅读全文
posted @ 2020-10-10 12:30
PEAR2020
阅读(6317)
评论(2)
推荐(1)
摘要：
https://www.bookstack.cn/read/spark-graphx-source-analysis/vertex-edge-triple.md 一、基本操作 1，当顶点和边的属性全都具备，直接构建Graph import org.apache.spark.graphx.{Edge, 阅读全文
posted @ 2020-10-08 14:56
PEAR2020
阅读(519)
评论(0)
推荐(0)
摘要：
一、连接SQL 方法一、 package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object Link 阅读全文
posted @ 2020-10-06 11:24
PEAR2020
阅读(1289)
评论(0)
推荐(0)
摘要：
hive-jdbc的jar包直接从hive/中找 阅读全文
posted @ 2020-10-06 11:14
PEAR2020
阅读(162)
评论(0)
推荐(0)
摘要：
以下详见：https://blog.csdn.net/weixin_48833605/article/details/111124191 一、metastore 二、hiveserver2 阅读全文
posted @ 2020-10-06 11:07
PEAR2020
阅读(158)
评论(0)
推荐(0)
浙公网安备 33010602011771号