Kafka - 高效读写数据
摘要：
一、Kafka能高效读写数据的原因 4）页缓存+零拷贝技术 传输的数据只保存在内核空间，不需要再拷贝到用户空间 阅读全文
posted @ 2022-04-05 00:30 frank_cui 阅读(90) 评论(0) 推荐(0)
Kafka - 文件存储
摘要：
一、文件存储机制 二、Log文件和Index文件详解 2.1 如何查看log文件 2.2 原理详解 注意： 这里的index是稀疏索引。大约每往log文件中写入4kb数据，会往index文件写入一条索引。参数log.inden.interval.bytes默认4kb。 log里面只有相对offset 阅读全文
posted @ 2022-04-05 00:18 frank_cui 阅读(92) 评论(0) 推荐(0)
Kafka - Kafka 副本
摘要：
易错点 在kafka中： 每个主题可以有多个分区， 每个分区又可以有多个副本。 这多个副本中，只有一个是leader，而其他的都是follower副本。仅有leader副本可以对外提供服务。 多个follower副本通常存放在和leader副本不同的broker中。通过这样的机制实现了高可用，当某台 阅读全文
posted @ 2022-04-04 14:15 frank_cui 阅读(228) 评论(0) 推荐(0)
Kafka - Kafka Broker
摘要：
一、Kafka Broker 工作流程 1.1 ZooKeeper中存储的kafka信息 补充说明下/kafka/controller, 每个broker模块都将有一个controller模块，在竞争leader时谁先抢到/kafka/controller节点，谁来节点谁是leader。因此说/ka 阅读全文
posted @ 2022-04-03 13:44 frank_cui 阅读(123) 评论(0) 推荐(0)
Debug - java.lang.NoSuchMethodError 原因和处理方案
摘要：
一、问题描述 工程中明明有该方法，却提示 java.lang.NoSuchMethodError 错误 二、原因 若刚刚改了代码，才出现这个问题 极有可能是某个类，在同一个包下面有重名类了。 参考： https://blog.csdn.net/weixin_41425956/article/deta 阅读全文
posted @ 2022-04-01 15:40 frank_cui 阅读(313) 评论(0) 推荐(0)
Kafka - Kafka 生产者
摘要：
一、生产者 如何将消息发送到 kafka集群？ 将下图纵向分为4列： 1.1 生产者的主线程 Producer对象：生成一个该对象，然后调用send方法 拦截器：不是必须的，可选 序列化器：kafka自己的更轻便，大部分都是数据，保证安全校验的只是小部分；而Java数据只占一小部分，大部分都是安全校 阅读全文
posted @ 2022-03-28 00:41 frank_cui 阅读(108) 评论(0) 推荐(0)
Linux - xsync同步脚本的使用
摘要：
xsync同步脚本的使用 1.简介 在集群机器配置时，经常需要将一个文件或目录copy到同样的多台集群上，如果一个一个机器去复制，比较麻烦。如果有一个办法，通过一条命令就可以实现这个目的，就简单多了。xsync就是这样一个同步脚本。xsync其实是对rsync脚本的二次封装，脚本内容可以根据自己需要 阅读全文
posted @ 2022-03-27 16:44 frank_cui 阅读(932) 评论(0) 推荐(0)
Kafka - Kafka 部署安装
摘要：
一、背景：集群规划 二、Kafka 集群部署 修改配置文件 cd config/ vi server.properties # 输入以下内容： # #broker 的全局唯一编号，不能重复 broker.id=0 #删除 topic 功能使能 delete.topic.enable=true #处理 阅读全文
posted @ 2022-03-26 23:41 frank_cui 阅读(69) 评论(0) 推荐(0)
Kafka - Kafka 概述
摘要：
一、为什么需要kafka 缓冲/削峰能力 hadoop组件的吞吐量只有100M/s，无法满足双11的高峰流量。中间加一层kafka，能极大的解决生产消息和消费消息的处理速度不一致的情况。 解耦 异步通信 二、消息队列的 两种模式 点对点模式 发布/订阅模式 二、kafka的消息编码格式 Kafka 阅读全文
posted @ 2022-03-26 23:25 frank_cui 阅读(115) 评论(0) 推荐(0)
Java 基础 - 优雅初始化
摘要：
List优雅初始化 List<String> ukAttribute = Arrays.asList("bookName","bookProp","asOfDate","displayType","displaySubType","calcDataSource","summaryType"); Ha 阅读全文
posted @ 2022-03-25 10:39 frank_cui 阅读(96) 评论(0) 推荐(0)
重点issue - kafka分区技术选型迭代+kafka乱序问题
摘要：
选型一：为了保证消息有序，只有一个分区partition 优点： （前提：生产者发送消息的顺序，和消息到达kafka的顺序一致）... 为了避免多partition，导致消费者消费某些顺序敏感的数据，会出现乱序的现象。 缺点： 当数据量巨大的时候，所有该topic的数据都挤在同一个partition 阅读全文
posted @ 2022-03-24 22:09 frank_cui 阅读(1069) 评论(0) 推荐(0)
Test - @Test注解(Junit4) 与 继承TestCase(Junit3) 混用问题及原因
摘要：
前言 在作单元测试的时候，可能使用@Test注解执行一个测试用例，或者测试类继承junit.framework.TestCase，方法名为test前缀执行测试用例，如下： 1. 使用@Test注解 public class Junit4Test { @Test public void testX() 阅读全文
posted @ 2022-02-28 10:34 frank_cui 阅读(641) 评论(0) 推荐(0)
FI - 第2章：债券基本要素
摘要：
一、债券的基本要素 到期日 Maturity 到期日（站在零时刻） Term to Maturity (Tenor) 距离到期日还有多久（站在当前时刻） 根据期限的长短分类： 货币市场证券 money market securities：小于等于1年 资本市场证券 capital market se 阅读全文
posted @ 2022-02-22 22:12 frank_cui 阅读(1433) 评论(0) 推荐(0)
SQL Server - !=NULL 必须写成 IS NOT NULL
摘要：
平时经常会遇到这两种写法：IS NOT NULL与!=NULL。也经常会遇到数据库有符合条件!=NULL的数据，但是返回为空集合。实际上，是由于对二者使用区别理解不透彻。 默认情况下，推荐使用 IS NOT NULL去做条件判断，因为SQL默认情况下对WHERE XX！= Null的判断会永远返回0 阅读全文
posted @ 2022-02-08 10:01 frank_cui 阅读(627) 评论(0) 推荐(0)
Flink - 运行时架构
摘要：
一、Flink运行时四大组件 二、任务提交流程 更详细的图： 阅读全文
posted @ 2022-01-04 22:11 frank_cui 阅读(62) 评论(0) 推荐(0)
Flink - DataSet 批处理 vs DataStream 流处理
摘要：
相关视频教程 尚硅谷Java版Flink P7 - DataSet: https://www.bilibili.com/video/BV1qy4y1q728?p=7 尚硅谷Java版Flink P8 - DataStream: https://www.bilibili.com/video/BV1qy 阅读全文
posted @ 2022-01-03 21:40 frank_cui 阅读(67) 评论(0) 推荐(0)
Hazelcast - Hazelcast介绍与使用
摘要：
详细介绍 下面这个系列讲的很详细: Hazelcast集群服务(1)——Hazelcast介绍 Hazelcast集群服务(2)——Hazelcast基本配置 Hazelcast集群服务(3)——集群功能详解 Hazelcast集群服务(4)——分布式Map 其他博主的整理 Hazelcast 介绍 阅读全文
posted @ 2021-12-23 10:59 frank_cui 阅读(613) 评论(0) 推荐(0)
Git - Cheey Pick
摘要：
1.找到需要cherry pick的commit，点击： 2.点击cherry pick 3.选择想要把该commit，放在哪个branch中 4.之后会发起一个新的merge request, 填写reviewer即可。 阅读全文
posted @ 2021-12-22 13:50 frank_cui 阅读(176) 评论(0) 推荐(0)
Git - 修改name/author信息
摘要：
问题描述 remote: GL-HOOK-ERR:ERROR: author:“019124”, 格式非法, 应当是你的工号,以K/S/0开头. remote: GL-HOOK-ERR:ERROR: 请重新设置[user]下的name值. 解决方案 1.查看个人用户目录下.gitconfig中的na 阅读全文
posted @ 2021-12-22 13:27 frank_cui 阅读(1636) 评论(1) 推荐(1)
浙公网安备 33010602011771号