andyhe - 博客园

flink sql

摘要： StreamTableEnvironment 该类包含sql解析、验证、优化、执行等各环节需要的元数据管理器 ,模块管理器(模块包含函数集、类型集、规则集) ，用户自定义函数管理器 ,线程池、sql解析器。 DataType 定义了逻辑类型，并且对其底层实际物理类型进行暗示。 LogicalTyp 阅读全文

posted @ 2019-11-11 17:59 andyhe 阅读(2623) 评论(0) 推荐(0) 编辑

golang for range

摘要：如下两种写法是等价的（错误）： func findNegative(in []int) [] int { ret := make([] int,0) for _,v := range in { if v 阅读全文

posted @ 2019-10-31 00:22 andyhe 阅读(653) 评论(0) 推荐(0) 编辑

亚稳定机房hbase集群配置

摘要：背景在某些项目中，由于一些特殊原因，机房环境不是特别稳定，存在可能突然断电的情况，在这种情况下，我们需要一些额外的配置来尽量避免hbase集群数据丢失。风险 HLog 没有及时落地到磁盘，断电导致wal日志丢失 HFile刷写完成，但是文件HFile 调用后，数据没有及时落地到磁盘，断电导致HF 阅读全文

posted @ 2019-10-25 15:17 andyhe 阅读(333) 评论(0) 推荐(0) 编辑

Hbase mvcc

摘要： region hlog回放时mvcc的应用 region 的时候会根据各个下的所有文件记录的，找到最大的 ,然后根据各个记录的回放HLog日志(从maxMemstoreTS+1开始)。数据写入过程中的版本管理 : 关键点: mvcc的方法把自增,并以自增后的生成一个写条目放入到写队阅读全文

posted @ 2019-10-25 10:39 andyhe 阅读(289) 评论(0) 推荐(0) 编辑

BloomFilter在Hbase中的实现与应用

摘要：在HFILE文件中的存储 BloomFilterChunk 使用实际存储bit数组，因此和`set`过程都需要进行相应的转换,计算byte[]的index再计算byte内bit的index。由于hash函数个数是不定地，该类中使用一个hash函数通过不同的计算出和`hash2 hash1+ 阅读全文

posted @ 2019-10-24 14:48 andyhe 阅读(658) 评论(0) 推荐(0) 编辑

flink checkpoint机制的实现

摘要：启用checkpoint机制调用的`enableCheckpointing interval`间隔需要大于等于10ms 作业checkpoint流程描述构建的过程中会生成三个类型的节点列表: triggerVertices:所有的source并行实例节点，会定时接收到发送的请求 ack 阅读全文

posted @ 2019-10-22 17:01 andyhe 阅读(2229) 评论(0) 推荐(0) 编辑

openjdk源码分析之AtomicLong

摘要：关键代码: 然后看中compareAndSwapLong的定义: 然后转到具体平台相关的实现类，比如mac下的可见mac下采用的是cmpxchgq汇编指令实现： "内联汇编" 锁消息总线保证互斥地使用这个内存地址 AT&T汇编格式：指令源操作数目的操作数 "cmpxchg" : 用RAX中阅读全文

posted @ 2019-05-24 18:34 andyhe 阅读(491) 评论(0) 推荐(0) 编辑

cpp之宏和函数调用约定

摘要：宏定义宏中的和首先知道理解c中的邻近字符串连接原则，即相邻两个字符串链接起来组成一个字符串。是合法的并且输出结果是 \ NAME会把传入的参数名当成字符串处理 \ 将两边的字符连在一起作为一个标识符 VAR_N(age,1) age1 宏的副作用问题 ` define MIN(A,B) 阅读全文

posted @ 2019-05-24 17:12 andyhe 阅读(383) 评论(0) 推荐(0) 编辑

JNA 相关问题

摘要： JNA 相关问题结构体对齐问题要注意调用的c库字段对齐方式的相关设置。 jna中提供了4种对齐方式: 需要在相应的结构体构造函数中加入设置对应的对齐方式。 unsigned类型处理 java中没有对应的无符号类型,需要进行相应的转换,以byte类型为例(c中的 unsigned char) c 阅读全文

posted @ 2019-05-24 16:23 andyhe 阅读(764) 评论(0) 推荐(0) 编辑

spark RDD

摘要： RDD RDD是的英文缩写，是spark的基本数据抽象，代表着一个不可变的、多分区的、可并行操作的元素集合。 RDD有5个主要属性：分区列表 (partition list) 计算某个分区函数（compute）依赖列表 (dependency list) _kv类型RDD的分区器_（可选的）阅读全文

posted @ 2019-05-07 19:08 andyhe 阅读(156) 评论(0) 推荐(0) 编辑