会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
打怪up
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
15
16
17
18
19
20
21
22
23
···
47
下一页
2021年9月11日
二叉树的最近公共祖先
摘要: 1、题目描述: https://leetcode-cn.com/problems/er-cha-shu-de-zui-jin-gong-gong-zu-xian-lcof/ 2、思路: 看官方题解,深入理解深度优先遍历 3、代码 package 二叉树; public class 二叉树的公共父节点
阅读全文
posted @ 2021-09-11 10:33 guoyu1
阅读(38)
评论(0)
推荐(0)
2021年7月15日
hive shuffle优化
摘要: 1、计算过程文件过多,reduce写入的分区也多。 解决方式是先写到一个临时的小文件中
阅读全文
posted @ 2021-07-15 14:13 guoyu1
阅读(474)
评论(0)
推荐(0)
2021年7月13日
数据集市
摘要: 1、数据集市和数据仓库的区别: https://blog.csdn.net/u011878191/article/details/49130733
阅读全文
posted @ 2021-07-13 16:50 guoyu1
阅读(48)
评论(0)
推荐(0)
2021年7月1日
waterMark机制
摘要: https://zhuanlan.zhihu.com/p/165910220 在使用eventTime的时候如何处理乱序数据?我们知道,流处理从事件产生,到流经source,再到operator,中间是有一个过程和时间的。虽然大部分情况下,流到operator的数据都是按照事件产生的时间顺序来的,但
阅读全文
posted @ 2021-07-01 21:20 guoyu1
阅读(669)
评论(0)
推荐(0)
状态编程
摘要: 1、状态 Flink内置的很多算子,数据源source,数据存储sink都是有状态的,流中的数据都是buffer records,会保存一定的元素或者元数据。例如: ProcessWindowFunction会缓存输入流的数据,ProcessFunction会保存设置的定时器信息等等。 在Flink
阅读全文
posted @ 2021-07-01 20:10 guoyu1
阅读(317)
评论(0)
推荐(0)
2021年6月29日
checkPoint机制
摘要: https://zhuanlan.zhihu.com/p/104601440 Flink分布式快照流程 首先我们来看一下一个简单的Checkpoint的大致流程: 暂停处理新流入数据,将新数据缓存起来。 将算子子任务的本地状态数据拷贝到一个远程的持久化存储上。 继续处理新流入的数据,包括刚才缓存起来
阅读全文
posted @ 2021-06-29 21:30 guoyu1
阅读(507)
评论(0)
推荐(0)
2021年6月26日
LSM树
摘要: https://blog.csdn.net/a3125504x/article/details/107140403
阅读全文
posted @ 2021-06-26 22:31 guoyu1
阅读(19)
评论(0)
推荐(0)
2021年4月27日
跳表
摘要: 跳表: 。。 代码实现: package com.mj; import java.util.Comparator; @SuppressWarnings("unchecked") public class SkipList<K, V> { private static final int MAX_LE
阅读全文
posted @ 2021-04-27 16:18 guoyu1
阅读(64)
评论(0)
推荐(0)
2021年1月30日
kafka顺序消息
摘要: https://zhuanlan.zhihu.com/p/91196585 1、用自定义分区器将消息都发到一个分区里,或者干脆就一个分区 2、注意异常情况,发送消息的时候如果发送A失败了,然后发送B成功,重试发送A成功可能导致消息乱序,可以通过配置max.in.flight.requests.per
阅读全文
posted @ 2021-01-30 10:10 guoyu1
阅读(43)
评论(0)
推荐(0)
2021年1月20日
CAS
摘要: 一、什么是CAS? 在计算机科学中,比较和交换(Conmpare And Swap)是用于实现多线程同步的原子指令。 它将内存位置的内容与给定值进行比较,只有在相同的情况下,将该内存位置的内容修改为新的给定值。 这是作为单个原子操作完成的。 原子性保证新值基于最新信息计算; 如果该值在同一时间被另一
阅读全文
posted @ 2021-01-20 21:07 guoyu1
阅读(78)
评论(0)
推荐(0)
上一页
1
···
15
16
17
18
19
20
21
22
23
···
47
下一页
公告