随笔分类 -  大数据

Hadoop生态Flume（四）拦截器(Interceptor)介绍与使用（2）
摘要：转载自 Flume中的拦截器（Interceptor）介绍与使用（二） lume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有 阅读全文
posted @ 2020-01-18 12:09 茅坤宝骏氹 阅读(0) 评论(0) 推荐(0)
Flume均匀发送数据到kafka的partition配置UUID Interceptor生成key的坑
摘要：一、需求 Flume向kafka发送数据时，同一个flume发送到kafka的数据总是固定在某一个partition中。而业务需求是发送的数据在所有的partition平均分布 二、实现 Flume的官方文档： Kafka Sink uses the topic and key properties 阅读全文
posted @ 2020-01-18 11:44 茅坤宝骏氹 阅读(0) 评论(0) 推荐(0)
Druid SQL查询数据timeStamp时区问题
摘要：一、Druid默认时区 默认使用UTC+0000，数据存储的时间timeStamp为UTC+0000 二、北京时间 在中国，使用UTC+0800，查询时间需要设置时区或者将时区转换为UTC+0000时间 以下查询是UTC+0000时间，查询结果的dateTime也是UTC+0000时间需要进行时区转 阅读全文
posted @ 2019-12-15 12:02 茅坤宝骏氹 阅读(0) 评论(0) 推荐(0)
Zookeeper一致性协议原理Zab
摘要：转载自 Zookeeper一致性协议原理Zab ZooKeeper为高可用的一致性协调框架，自然的ZooKeeper也有着一致性算法的实现，ZooKeeper使用的是ZAB协议作为数据一致性的算法， ZAB（ZooKeeper Atomic Broadcast ） 全称为：原子消息广播协议； ZAB 阅读全文
posted @ 2019-10-01 10:24 茅坤宝骏氹 阅读(0) 评论(0) 推荐(0)
Zookeeper面试题
摘要：转载自 Zookeeper面试题 目录 1. ZooKeeper是什么？2. ZooKeeper提供了什么？3. Zookeeper文件系统4. ZAB协议？5. 四种类型的数据节点 Znode6. Zookeeper Watcher 机制 -- 数据变更通知7. 客户端注册Watcher实现8. 阅读全文
posted @ 2019-09-21 13:11 茅坤宝骏氹 阅读(0) 评论(0) 推荐(0)
Zookeeper选举原理——FastLeaderElection
摘要：转载自 Zookeeper选举原理 作为一个分布式应用程序协调服务，在大型网站中，其本身也是集群部署的，安装zookeeper的时候最好是单数节点，因为要选举。Zookeeper的leader节点是集群工作的核心，用来更新并保证leader和server具有相同的系统状态，Follower服务器是L 阅读全文
posted @ 2019-09-14 23:34 茅坤宝骏氹 阅读(0) 评论(0) 推荐(0)
五分钟轻松了解Hbase面向列的存储
摘要：转载自 五分钟轻松了解Hbase面向列的存储 说明：从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。 行式存储 传统的数据库是关系型的，且是按行来存储的。如下图： 其中只有张三把一行数据填满了，李四王五赵六的行都没有填满。因为这里的行结构是固定的 阅读全文
posted @ 2019-05-02 18:40 茅坤宝骏氹 阅读(0) 评论(0) 推荐(0)
分布式系统的Raft算法
摘要：转载自 分布式系统的Raft算法 过去, Paxos一直是分布式协议的标准，但是Paxos难于理解，更难以实现，Google的分布式锁系统Chubby作为Paxos实现曾经遭遇到很多坑。 来自Stanford的新的分布式协议研究称为Raft，它是一个为真实世界应用建立的协议，主要注重协议的落地性和可 阅读全文
posted @ 2018-09-29 19:53 茅坤宝骏氹 阅读(0) 评论(0) 推荐(0)
分布式系统Paxos算法
摘要：转载自 分布式系统Paxos算法 这是一个有关Paxos算法非常形象的讲解与示范。Paxos是能够基于一大堆完全不可靠的网络条件下却能可靠确定地实现共识一致性的算法。也就是说：它允许一组不一定可靠的处理器（服务器）在某些条件得到满足情况下就能达成确定的安全的共识，如果条件不能满足也确保这组处理器（服 阅读全文
posted @ 2018-09-29 19:35 茅坤宝骏氹 阅读(0) 评论(0) 推荐(0)