会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
FireOnFire
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
2022年10月2日
SparkCore:RDD
摘要: 概念与特性 RDD (Resilient Distributed Dataset)弹性分布式数据集,是 Spark 中最基本的数据处理模型。 弹性 存储:内存和磁盘的自动切换 容错:数据丢失可以自动恢复 计算:计算出错重试机制 分片:可根据需要重新分片 分布式:数据存储在大数据集群的不同节点上 数据
阅读全文
posted @ 2022-10-02 22:26 FireOnFire
阅读(123)
评论(0)
推荐(0)
2022年9月28日
SparkCore:WordCount 原理
摘要: IO 原理 IO 流主要分为字节流和字符流。 字节流可以处理任何类型的数据,如图片,视频等。 字符流只能处理字符类型的数据。 字节文件操作流 InputStream inputStream = new FileInputStream("path"); int i = 0; // 一次读取一个字节 w
阅读全文
posted @ 2022-09-28 18:34 FireOnFire
阅读(79)
评论(0)
推荐(0)
2022年9月24日
scala 快速上手
摘要: Scala 特性 基于 JVM:可以与 Java 混合编程,且可相互调包。 类型推测:不需要显式定义数据类型,$var$ 表示变量,$val$ 表示常量。 并发和分布式(Actor,类似 Java 中的多线程 Thread)。 Trait 特性:类似于 Java 中的 interfaces 和 ab
阅读全文
posted @ 2022-09-24 18:57 FireOnFire
阅读(99)
评论(0)
推荐(0)
2022年9月18日
Guided sampling for large graphs
摘要: 介绍 提出了一种根据图的度和聚类系数来指导图采样。现有的采样算法可以将原图缩小到 10%,但是,如果再进一步缩小就会对子图的结构造成破坏。 工作的主要特点 将样本量减少到1%以下,同时保留原始图的关键属性,如原图的度、聚类系数、路径长度和直径。以及,通过保留图的度混合模式(分类性)和模块性来保留图的
阅读全文
posted @ 2022-09-18 14:58 FireOnFire
阅读(107)
评论(0)
推荐(0)
2021年3月26日
谷粒商城(三):SpringCloud Alibaba
摘要: 搭配方案 SpringCloud Alibaba - Nacos:注册中心(服务发现/ 注册) SpringCloud Alibaba - Nacos:配置中心(动态配置管理) SpringCloud - Ribbon:负载均衡 SpringCloud - Feign:声明式HTTP客户端(调用远程
阅读全文
posted @ 2021-03-26 20:54 FireOnFire
阅读(366)
评论(0)
推荐(0)
上一页
1
2
3
4
5
公告