摘要:
参与到一个项目中后,这个项目有一个非常棘手的问题,就是程序需要在初次启动时加载大量数据,高达80G,这会导致成本高筑,不得不使用裸金属服务器进行部署 上个版本现状 tps:1790 rt:12.94ms 80G 目标是 tps 不下降的情况下,尽量使内存占用下降 改进1 首次观察加载数据,发现这个数 阅读全文
摘要:
worker宕机,主要是worker上面跑的task需要及时发现及时重跑,顺着这个思路来进行源码的分析 1. MasterRegistryDataListener 这是向Zookeeper 注册的回调类,当Zookeeper数据产生变化,会回调它的notify方法 @Override public 阅读全文
摘要:
DS(dolphinscheduler)的master 是去中心化的,而故障转移能力是由master完成的,那么是多个master同时干故障转移,还是选举出一个master来干这件事情呢? 回归到源码进行分析 1. master 启动方法 @PostConstruct public void run 阅读全文
摘要:
dolphinscheduler Master服务是去中心化的,也就是没有master和slave之分,每个master都参与工作,那么它是如何每个Master服务去取任务执行时,每个Master都取到不同的任务,并且不会漏掉,不会重复的呢 ,下面从源码角度来分析这个问题 MasterServer. 阅读全文
摘要:
1. 拉取代码到本地 git clone https://github.com/apache/doris.git 2. 参考Doris的文档,但别全信(信了你就上当了) 参考第一篇 https://doris.apache.org/zh-CN/community/developer-guide/fe 阅读全文
摘要:
1 设置 VMware 网络环境 1. 选择VMNet8 并将子网IP 修改为 192.168.10.0,保证集群ip都在这个网段下 2. 选择NAT 设置,配置NAT的网关为 192.168.10.2 2 设置 windows11 网络环境 1. 打开 控制面板\网络和 Internet\网络连接 阅读全文
摘要:
安装 vmware tool 步骤 1. cp VMwareTools-10.3.25-20206839.tar.gz 到 用户目录下 2. tar zxf VMwareTools-10.3.25-20206839.tar.gz 解压 3. 进入 vmware-tools-distrib 执行 su 阅读全文
摘要:
多线程模式中,在main函数中会执行InitServerLast void InitServerLast() { bioInit(); // 关键一步, 这里启动了多条线程,用于执行命令,redis起名为IO 线程 initThreadedIO(); set_jemalloc_bg_thread(s 阅读全文
摘要:
有了下文的梳理后 redis 启动流程 再来解析redis 在单线程模式下解析并处理客户端发来的命令 1. 当 client fd 可读时,会回调readQueryFromClient函数 void readQueryFromClient(connection *conn) { client *c 阅读全文
摘要:
1. redis 由 server.c 的main函数启动 int main(int argc, char **argv) { ... // 上面的部分为读取配置和启动命令参数解析,看到这一行下面为启动流程 serverLog(LL_WARNING, "oO0OoO0OoO0Oo Redis is 阅读全文