摘要：
I will focus on why using LDAP, not what is LDAP. The use model is similar like how people use library cards or phonebooks. When you have a task that 阅读全文
posted @ 2022-01-28 11:26
大数据从业者FelixZh
阅读(79)
评论(0)
推荐(0)
摘要：
Pulsar的前世今生 Apache Pulsar是一个发布-订阅消息系统，使用计算与存储分离的云原生架构。Pulsar 2018年9月成为ASF顶级项目，近两年，随着社区不断发展和诸多企业的应用和贡献，Pulsar作为一个云原生的分布式消息流平台，越来越频繁地出现在人们的视野中，大有替代Kafka 阅读全文
posted @ 2022-01-08 16:02
大数据从业者FelixZh
阅读(710)
评论(0)
推荐(0)
摘要：
面试中经常会问到类似问题，看上去很简单，就是一个排序而已，但是你好好想想大部分排序算法都需要把数据放到内存里面操作，这10亿个数字得占用多少内存？好吧，你可以使用外部排序算法，在磁盘上完成排序！当然这些传统算法肯定是可以解决的，不过这里有一个更好的方案，采用bitmap排序，介绍如下： bitmap 阅读全文
posted @ 2021-12-29 20:36
大数据从业者FelixZh
阅读(1555)
评论(0)
推荐(0)
摘要：
哈，好久没更新文章了，今天来说说关于mySQL那些年的小事。说到mySQL啊，用了挺久的了，但是有个问题一直在困扰着我，就是left join、join、right join和inner join等等各种join的区别。网上搜，最常见的就是一张图解图，如下： 真的是一张图道清所有join的区别啊，可 阅读全文
posted @ 2021-12-24 16:46
大数据从业者FelixZh
阅读(478)
评论(0)
推荐(0)
摘要：
之前我们了解了基于Corator的分布式锁之后,我们就很容易基于其实现一个分布式计数器，顾名思义，计数器是用来计数的, 利用ZooKeeper可以实现一个集群共享的计数器。 只要使用相同的path就可以得到最新的计数器值， 这是由ZooKeeper的一致性保证的。Curator有两种计数器。 Sha 阅读全文
posted @ 2021-12-16 11:30
大数据从业者FelixZh
阅读(492)
评论(0)
推荐(0)
摘要：
什么是BarrierBarrier是一个同步点，每一个线程到达此点都要等待，直到某一个条件满足，所有的线程才能继续进行。比如：赛跑大家都知道,所有比赛人员都会在起跑线外等待,直到教练员的枪响之后,所有参赛者立刻开始赛跑。 JDK的并发包下有CyclicBarrier，它看起来和CountDownLa 阅读全文
posted @ 2021-12-15 20:04
大数据从业者FelixZh
阅读(263)
评论(0)
推荐(0)
摘要：
随着业务增加,以前简单的系统已经变得越来越复杂，单纯的提升服务器性能也不是办法,而且代码也是越来越庞大，维护也变得越来越困难，这一切都催生了新的架构设计风格 – 微服务架构的出现。 微服务给我们带来了很多好处，例如：独立可扩展、易维护。但是随着应用的分解，微服务的引入，服务越来越多，业务系统与服务系 阅读全文
posted @ 2021-12-14 20:27
大数据从业者FelixZh
阅读(626)
评论(0)
推荐(0)
摘要：
分布式锁和Master选举相似点分布式锁和 Master选举有几种相似点，实际上其实现机制也相近： 同一时刻只有一个获取锁 / 只能有一个leader对于分布式排他锁来说，任意时刻，只能有一个进程(对于单进程内的锁是单线程)可以获得锁。对于领导选举来说，任意时刻,只能有一个成功当选为leader。否 阅读全文
posted @ 2021-12-14 15:22
大数据从业者FelixZh
阅读(977)
评论(0)
推荐(0)
摘要：
在分布式环境中 ，为了保证数据的一致性，经常在程序的某个运行点(例如，减库存操作或者流水号生成等)需要进行同步控制。以一个"流水号生成"的场景为例，普通的后台应用通常都是使用时间戳来生成流水号，但是在用户访问量很大的情况下，可能会出现并发问题。下面通过示例程序就演示一个典型的并发问题： public 阅读全文
posted @ 2021-12-13 16:14
大数据从业者FelixZh
阅读(1076)
评论(0)
推荐(0)
摘要：
Zookeeper原生就支持通过注册Watcher来进行事件监听，但是其使用并不是特别方便，需要开发人员反复注册Watcher，比较繁琐。Curator引入了Cache来实现对zookeeper服务端事件的监听，Cache是Curator中对事件的包装，其对事件的监听其实可以近似的看做是一个本地缓存 阅读全文
posted @ 2021-12-13 10:38
大数据从业者FelixZh
阅读(623)
评论(0)
推荐(0)
摘要：
原生API中基本上所有的操作都有提供异步操作，Curator也有提供异步操作的API。 异步操作在使用以上针对节点的操作API时，我们会发现每个接口都有一个inBackground()方法可供调用。此接口就是Curator提供的异步调用入口。对应的异步处理接口为BackgroundCallback。 阅读全文
posted @ 2021-12-13 10:17
大数据从业者FelixZh
阅读(320)
评论(0)
推荐(0)
摘要：
Oleg Yermolaiev Scala Developer & Technical Lead zookeeper scala configuration curator distributed One of the steps towards building a successful dist 阅读全文
posted @ 2021-12-11 17:04
大数据从业者FelixZh
阅读(247)
评论(0)
推荐(0)
摘要：
Today I’ve got a sudden speech about Apache Zookeeper in corporate architects community. There should have been another speaker, but he did not arrive 阅读全文
posted @ 2021-12-11 17:03
大数据从业者FelixZh
阅读(71)
评论(0)
推荐(0)
摘要：
什么是裸金属 什么是裸金属 裸金属，是英文 Bare Metal 的直译，其实也是可以叫 Bare Machine 的，可能大家觉得 Metal 听起来更酷一点，所以都爱这么叫。 如果说裸金属听起来有点懵逼，那么说裸机大家都很好理解了，就是指没有操作系统的计算机硬件。 大家伙平时在说起服务器（Ser 阅读全文
posted @ 2021-12-11 11:08
大数据从业者FelixZh
阅读(1681)
评论(0)
推荐(1)
摘要：
本文主要讲解如下内容： 为什么要使用分布式锁？ 分布式锁特性！ 分布式锁的实现方式有哪些？ Curator分布式锁原理 Curator分布式锁实现类UML及相关类的介绍 基于Redis，数据库实现分布式锁 为什么要使用分布式锁？ 在传统的单机应用中，我们使用JAVA提供的synchronized、R 阅读全文
posted @ 2021-12-07 14:32
大数据从业者FelixZh
阅读(411)
评论(0)
推荐(0)
摘要：
一 简介 Apache Curator是一个比较完善的ZooKeeper客户端框架，通过封装的一套高级API 简化了ZooKeeper的操作。通过查看官方文档，可以发现Curator主要解决了三类问题： 封装ZooKeeper client与ZooKeeper server之间的连接处理 提供了一套 阅读全文
posted @ 2021-12-06 16:56
大数据从业者FelixZh
阅读(1372)
评论(0)
推荐(0)
摘要：
ZooKeeper Version 3.4.x Compatibility ZooKeeper 3.4.x is now at end-of-life. Consequently, the latest versions of Curator have removed support for it. 阅读全文
posted @ 2021-12-06 15:55
大数据从业者FelixZh
阅读(1880)
评论(0)
推荐(0)
摘要：
zookeeper 常用的3种java客户端： zookeeper原生Java API ZkClient Apache curator 1、zookeeper原生Java API Zookeeper客户端提供了基本的操作，比如，创建会话、创建节点、读取节点、更新数据、删除节点和检查节点是否存在等。但 阅读全文
posted @ 2021-12-03 17:59
大数据从业者FelixZh
阅读(608)
评论(0)
推荐(0)
摘要：
序言直接使用zookeeper的api实现业务功能比较繁琐。因为要处理session loss，session expire等异常，在发生这些异常后进行重连。 又因为ZK的watcher是一次性的，如果要基于wather实现发布/订阅模式，还要自己包装一下，将一次性订阅包装成持久订阅。 另外如果要使 阅读全文
posted @ 2021-12-03 16:58
大数据从业者FelixZh
阅读(446)
评论(0)
推荐(0)
摘要：
Kafka客户端包括producer及consumer API，通过在wireshark中查看所捕获的请求，能更好的理解从producer及consumer到broker的网络连接过程。对于producer端，为了发送数据，需要建立client到broker节点的TCP长连接，此长连接可用于更新me 阅读全文
posted @ 2021-11-08 17:09
大数据从业者FelixZh
阅读(510)
评论(0)
推荐(0)
摘要：
tcpdump 是Linux平台上网络抓包、分析神器，wireshark可用在Windows上以可视化方式直接分析查看tcpdump抓取的数据文件。且wireshark内置支持很多常见应用协议解析，其中就包括kafka通信协议(Wireshark 2.4.0到2.6.0)。因此我们可以通过tcpdu 阅读全文
posted @ 2021-11-08 17:05
大数据从业者FelixZh
阅读(2071)
评论(0)
推荐(0)
摘要：
By now almost everyone has heard of so-called zero-copy functionality under Linux, but I often run into people who don't have a full understanding of 阅读全文
posted @ 2021-11-08 11:42
大数据从业者FelixZh
阅读(156)
评论(0)
推荐(0)
摘要：
Many Web applications serve a significant amount of static content, which amounts to reading data off of a disk and writing the exact same data back t 阅读全文
posted @ 2021-11-03 16:48
大数据从业者FelixZh
阅读(189)
评论(0)
推荐(0)
摘要：
什么是延时监控？延时监控，简单理解监控算子到算子的延迟时间。记录算子间或者源流入到算子时间，监控系统健康以及调节。 流式计算中处理延迟是一个非常重要的监控metric flink中通过开启配置 metrics.latency.interval 来开启latency后就可以在metric中看到askM 阅读全文
posted @ 2021-10-11 10:39
大数据从业者FelixZh
阅读(1739)
评论(0)
推荐(0)
摘要：
一、背景 FLink Job端到端延迟是一个重要的指标，用来衡量FLink任务的整体性能和响应延迟（大部分流式应用，要求低延迟特性）。 通过流处理引擎竞品对比，我们发现大部分流计算引擎产品，都在告警监控页面，集成了全链路时延指标展示（直方图） 一些低延时的处理场景，例如用于登陆、用户下单规则检测，实 阅读全文
posted @ 2021-10-11 10:33
大数据从业者FelixZh
阅读(1826)
评论(0)
推荐(0)
摘要：
简介： sftp是Secure File Transfer Protocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的加密方法。sftp 与 ftp有着几乎一样的语法和功能。SFTP 为 SSH的一部份，和vsftpd一点关系没有，是一种传输档案至 Blogger 伺服器的安全方式。本身 阅读全文
posted @ 2021-10-09 10:37
大数据从业者FelixZh
阅读(3114)
评论(0)
推荐(0)
摘要：
MirrorMaker 2.0 is used to replicate data between two or more active Kafka clusters, within or across data centers. Data replication across clusters s 阅读全文
posted @ 2021-10-08 10:58
大数据从业者FelixZh
阅读(166)
评论(0)
推荐(0)
摘要：
环境搭建： 一 下载源码。1.源码下载： 从GitHub下载https://github.com/apache/kafka.git。 下载完之后在IDEA setting--Plugins 处安装Scala 插件，再按照提示下载scala jar包。 2.配置工程： 二 运行源码1.启动kafkaK 阅读全文
posted @ 2021-10-03 22:45
大数据从业者FelixZh
阅读(1070)
评论(0)
推荐(0)
摘要：
Kafka Connect is a framework to stream data into and out of Apache Kafka®. The Confluent Platform ships with several built-in connectors that can be u 阅读全文
posted @ 2021-09-28 14:11
大数据从业者FelixZh
阅读(182)
评论(0)
推荐(0)
摘要：
IPv6背景介绍 目前被广泛使用的IPv4，它的最大问题是网络地址资源有限。IPv4仅有32二进制位，满打满算也仅有不到43亿个IP地址，已经完全不能满足目前需求。IPv6有128二进制位，地址数量非常庞大。目前主流操作系统早已支持IPv6，Google、Facebook和Yahoo等网站也早已支持 阅读全文
posted @ 2021-09-25 10:42
大数据从业者FelixZh
阅读(2743)
评论(0)
推荐(1)
浙公网安备 33010602011771号