随笔分类 -  inf

分布式数据库，消息中间件，文件系统等
bookkeeper table service调研
摘要：1.Motivacation 1.1.Distributed Metadata Storage 目前大量的开源系统(Pulsar,Kafka,DistributedLog)都依赖zookeeper进行metadata存储，在这些项目里面zookeeper都是元数据扩展性的瓶颈，受限制于zookeep 阅读全文
posted @ 2021-10-29 17:38 鲁仕林 阅读(376) 评论(0) 推荐(0)
hdfs架构详解(防脑裂fencing机制值得学习)
摘要：HDFS（Hadoop Distributed File System）是一个分布式文件存储系统，几乎是离线存储领域的标准解决方案（有能力自研的大厂列外），业内应用非常广泛。近段抽时间，看一下 HDFS 的架构设计，虽然研究生也学习过相关内容，但是现在基本忘得差不多了，今天抽空对这块做了一个简单的总 阅读全文
posted @ 2019-07-24 18:09 鲁仕林 阅读(6430) 评论(0) 推荐(0)
nignx简单介绍
摘要：Nginx的产生 没有听过Nginx？那么一定听过它的"同行"Apache吧！Nginx同Apache一样都是一种WEB服务器。基于REST架构风格，以统一资源描述符(Uniform Resources Identifier)URI或者统一资源定位符(Uniform Resources Locato 阅读全文
posted @ 2019-07-24 16:50 鲁仕林 阅读(403) 评论(0) 推荐(0)
linux父子进程问题
摘要：今天遇到一个linux进程启动时指定Max open files不对的问题，导致程序建立socket异常，进而导致fullgc问题，影响正常服务。所以顺带又温习了下linux下的父子进程的特性。 孤儿进程与僵尸进程[总结] 1、前言 之前在看《unix环境高级编程》第八章进程时候，提到孤儿进程和僵尸 阅读全文
posted @ 2018-08-01 15:25 鲁仕林 阅读(6615) 评论(1) 推荐(0)
Raft协议--中文论文介绍
摘要：本篇博客为著名的 RAFT 一致性算法论文的中文翻译，论文名为《In search of an Understandable Consensus Algorithm (Extended Version)》(寻找一种易于理解的一致性算法)。 Raft 是一种用来管理日志复制的一致性算法。它和 Paxo 阅读全文
posted @ 2018-07-05 16:19 鲁仕林 阅读(3237) 评论(0) 推荐(0)
Page Cache的落地问题
摘要：除非特别说明，否则本文提到的写操作都是 buffer write/write back。 起因 前几天讨论到一个问题：Linux 下文件 close成功，会不会触发 “刷盘”？ 其实这个问题根本不用讨论，查一下就知道。 man 2 close 的 NOTES 一节里有这么一段话： A success 阅读全文
posted @ 2018-06-06 15:51 鲁仕林 阅读(991) 评论(0) 推荐(0)
GFS浅析
摘要：1 . 简介 GFS, Big Table, Map Reduce称为Google的三驾马车，是许多基础服务的基石 GFS于2003年提出，是一个分布式的文件系统，与此前的很多分布式系统的前提假设存在很大的不同，适用于以下场景 1）认为组件失效是一种常态，提供了容错机制，自动负载均衡，使得分布式文件 阅读全文
posted @ 2018-03-28 17:32 鲁仕林 阅读(10709) 评论(0) 推荐(0)