随笔分类 -  海量数据

Flink的时间类型和watermark机制
摘要：一FlinkTime类型 有3类时间，分别是数据本身的产生时间、进入Flink系统的时间和被处理的时间，在Flink系统中的数据可以有三种时间属性： Event Time 是每条数据在其生产设备上发生的时间。这段时间通常嵌入在记录数据中，然后进入Flink，可以从记录中提取事件的时间戳；Event 阅读全文
posted @ 2019-08-29 15:54 oneqhw 阅读(1542) 评论(0) 推荐(0)
Zookeeper客户端Curator使用详解
摘要：简介 Curator是Netflix公司开源的一套zookeeper客户端框架，解决了很多Zookeeper客户端非常底层的细节开发工作，包括连接重连、反复注册Watcher和NodeExistsException异常等等。Patrixck Hunt（Zookeeper）以一句“Guava is t 阅读全文
posted @ 2018-02-02 10:35 oneqhw 阅读(903) 评论(0) 推荐(0)
Hive工具类
摘要：Hive2.x的工具类，对常用方法进行了封装，其中设置了kerberos认证。 阅读全文
posted @ 2017-07-11 01:28 oneqhw 阅读(1945) 评论(0) 推荐(0)
通过HA方式操作HDFS
摘要：HDFS操作 阅读全文
posted @ 2017-07-11 01:19 oneqhw 阅读(2111) 评论(2) 推荐(0)