flink sql
摘要：
StreamTableEnvironment 该类包含sql解析、验证、优化、执行等各环节需要的元数据管理器 ,模块管理器(模块包含函数集、类型集、规则集) ，用户自定义函数管理器 ,线程池、sql解析器 。 DataType 定义了逻辑类型，并且对其底层实际物理类型进行暗示。 LogicalTyp 阅读全文
posted @ 2019-11-11 17:59 andyhe 阅读(2732) 评论(0) 推荐(0)
golang for range
摘要：
如下两种写法是等价的（错误）： func findNegative(in []int) [] int { ret := make([] int,0) for _,v := range in { if v 阅读全文
posted @ 2019-10-31 00:22 andyhe 阅读(668) 评论(0) 推荐(0)
亚稳定机房hbase集群配置
摘要：
背景 在某些项目中，由于一些特殊原因，机房环境不是特别稳定，存在可能突然断电的情况，在这种情况下，我们需要一些额外的配置来尽量避免hbase集群数据丢失。 风险 HLog 没有及时落地到磁盘，断电导致wal日志丢失 HFile刷写完成，但是文件HFile 调用后，数据没有及时落地到磁盘，断电导致HF 阅读全文
posted @ 2019-10-25 15:17 andyhe 阅读(361) 评论(0) 推荐(0)
Hbase mvcc
摘要：
region hlog回放时mvcc的应用 region 的时候会根据各个 下的所有 文件记录的 ，找到最大的 ,然后根据各个 记录的 回放HLog日志(从maxMemstoreTS+1开始)。 数据写入过程中的版本管理 : 关键点: mvcc的 方法把 自增,并以自增后的 生成一个写条目放入到写队 阅读全文
posted @ 2019-10-25 10:39 andyhe 阅读(320) 评论(0) 推荐(0)
BloomFilter在Hbase中的实现与应用
摘要：
在HFILE文件中的存储 BloomFilterChunk 使用 实际存储bit数组，因此 和`set`过程都需要进行相应的转换,计算byte[]的index再计算byte内bit的index。 由于hash函数个数是不定地，该类中使用一个hash函数通过不同的 计算出 和`hash2 hash1+ 阅读全文
posted @ 2019-10-24 14:48 andyhe 阅读(709) 评论(0) 推荐(0)
flink checkpoint机制的实现
摘要：
启用checkpoint机制 调用 的`enableCheckpointing interval`间隔需要大于等于10ms 作业checkpoint流程描述 构建 的过程中会生成三个 类型的节点列表: triggerVertices:所有的source并行实例节点，会定时接收到 发送的 请求 ack 阅读全文
posted @ 2019-10-22 17:01 andyhe 阅读(2534) 评论(0) 推荐(0)
openjdk源码分析之AtomicLong
摘要：
关键代码: 然后看 中compareAndSwapLong的定义: 然后转到具体平台相关的实现类，比如mac下的 可见mac下采用的是cmpxchgq汇编指令实现： "内联汇编" 锁消息总线保证互斥地使用这个内存地址 AT&T汇编格式： 指令 源操作数 目的操作数 "cmpxchg" : 用RAX中 阅读全文
posted @ 2019-05-24 18:34 andyhe 阅读(532) 评论(0) 推荐(0)
cpp之宏和函数调用约定
摘要：
宏定义 宏中的 和 首先知道理解c中的邻近字符串连接原则，即相邻两个字符串链接起来组成一个字符串。 是合法的并且输出结果是 \ NAME会把传入的参数名当成字符串处理 \ 将 两边的字符连在一起作为一个标识符 VAR_N(age,1) age1 宏的副作用 问题 ` define MIN(A,B) 阅读全文
posted @ 2019-05-24 17:12 andyhe 阅读(417) 评论(0) 推荐(0)
JNA 相关问题
摘要：
JNA 相关问题 结构体对齐问题 要注意调用的c库字段对齐方式的相关设置。 jna中提供了4种对齐方式: 需要在相应的结构体构造函数中加入 设置对应的对齐方式。 unsigned类型处理 java中没有对应的无符号类型,需要进行相应的转换,以byte类型为例(c中的 unsigned char) c 阅读全文
posted @ 2019-05-24 16:23 andyhe 阅读(849) 评论(0) 推荐(0)
浙公网安备 33010602011771号