随笔分类 -  分布式

Redis常见使用场景
摘要：1、缓存 热点数据缓存（例如报表、明星出轨），对象缓存、全页缓存、可以提升热点数据的访问数据。 2、数据共享分布式 String 类型，因为 Redis 是分布式的独立服务，可以在多个应用之间共享。 例如：分布式Session <dependency> <groupId>org.springfram 阅读全文
posted @ 2023-02-13 19:53 阿凡卢 阅读(95) 评论(0) 推荐(1) 编辑
分布式系统中的常用技术
摘要：1、布隆过滤器 Bloom过滤器是一种节省空间的概率数据结构，用于测试元素是否为某集合的成员。它用于我们只需要检查元素是否属于对象的场景。 在BigTable（和Cassandra）中，任何读取操作都必须从组成Tablet的SSTable中读取。如果这些SSTable不在内存中，则读取操作可能最终会 阅读全文
posted @ 2022-12-26 14:32 阿凡卢 阅读(370) 评论(0) 推荐(0) 编辑
Redis分布式锁的深度剖析
摘要：作者 | Kaito 来源 | 水滴与银弹 大家好，我是 Kaito。这篇文章我想和你聊一聊，关于 Redis 分布式锁的「安全性」问题。Redis 分布式锁的话题，很多文章已经写烂了，我为什么还要写这篇文章呢？因为我发现网上 99% 的文章，并没有把这个问题真正讲清楚。导致很多读者看了很多文章，依 阅读全文
posted @ 2021-09-09 10:57 阿凡卢 阅读(816) 评论(1) 推荐(3) 编辑
使用flink和kafka实现端到端的Exactly Once语义
摘要：1、背景 Flink：1.4.0+ Kakfa：0.11+ 使用场景：flink的source和sink都是kafka，这里的source和sink不限于kafka，可以使用任何一种提供了类似协调机制（2PC）的sink/source。 关键点： Kafka source支持重新消费，手动commi 阅读全文
posted @ 2020-07-21 16:17 阿凡卢 阅读(2390) 评论(0) 推荐(0) 编辑
Kafka的Exactly-once语义与事务机制
摘要：Kafka 0.11.x版本（对应 Confluent Platform 3.3），该版本引入了exactly-once语义。 精确一次确实很难实现（Exactly-once is a really hard problem） Mathias Verraes说，分布式系统中最难解决的两个问题是： 消 阅读全文
posted @ 2020-06-05 11:00 阿凡卢 阅读(10553) 评论(1) 推荐(4) 编辑
flink任务性能优化
摘要：如何提高 Flink 任务性能 一、Operator Chain 为了更高效地分布式执行，Flink 会尽可能地将 operator 的 subtask 链接（chain）在一起形成 task，每个 task 在一个线程中执行。将 operators 链接成 task 是非常有效的优化：它能减少线程 阅读全文
posted @ 2019-12-29 13:06 阿凡卢 阅读(10633) 评论(0) 推荐(1) 编辑
flink基本原理
摘要：一、简介 开源流式处理系统在不断地发展，从一开始只关注低延迟指标到现在兼顾延迟、吞吐与结果准确性，在发展过程中解决了很多问题，编程API的易用性也在不断地提高。本文介绍一下 Flink 中的核心概念，这些概念是学习与使用 Flink 十分重要的基础知识，在后续开发 Flink 程序过程中将会帮助开发 阅读全文
posted @ 2019-12-14 16:21 阿凡卢 阅读(4168) 评论(1) 推荐(0) 编辑
apache storm基本原理及使用总结
摘要：什么是Apache Storm Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。虽然Storm是无状态的，它通过Apache ZooKeeper管理分布式环境和集群状态。通过Storm可以并行地对实 阅读全文
posted @ 2019-07-07 13:47 阿凡卢 阅读(3532) 评论(0) 推荐(0) 编辑
Elasticsearch集群优化实战
摘要：版本配置： ES版本：6.2.4 OS内存64G。 一、安装部署： 1.ES jvm内存31G，预留一半的物理内存给文件系统缓存（file system cache）。 2.禁止内存交换： 修改/etc/sysctl.conf 中 vm.swappiness = 1 elasticsearch.ym 阅读全文
posted @ 2019-04-20 20:24 阿凡卢 阅读(3683) 评论(0) 推荐(1) 编辑
Elasticsearch跨集群搜索(Cross Cluster Search)
摘要：1、简介 Elasticsearch在5.3版本中引入了Cross Cluster Search（CCS 跨集群搜索）功能，用来替换掉要被废弃的Tribe Node。类似Tribe Node，Cross Cluster Search用来实现跨集群的数据搜索。 2、配置Cross Cluster Se 阅读全文
posted @ 2018-10-28 14:00 阿凡卢 阅读(6734) 评论(0) 推荐(0) 编辑
Elasticsearch集群运维
摘要：一、索引管理1、创建索引 PUT test-2019-03 { "settings": { "index": { "number_of_shards": 10, "number_of_replicas": 1, "routing": { "allocation": { "include": { "t 阅读全文
posted @ 2018-08-25 10:42 阿凡卢 阅读(6505) 评论(0) 推荐(0) 编辑
Elasticsearch冷热集群搭建
摘要：ES版本：6.2.4 集群环境：7台机器，每台部署一个master节点。其中3台部署2个hot节点，另外4台部署2个warm节点。共21个节点。 1. 挂盘 按实际情况分盘，一个机子上的2个data节点均分数据磁盘。 通过UUID挂盘，以防止以后换盘，盘符移动（这里拿3个盘举例）。 mkdir -p 阅读全文
posted @ 2018-08-11 15:36 阿凡卢 阅读(2131) 评论(1) 推荐(0) 编辑
分布式系统事务一致性
摘要：一 分布式系统特点 现今互联网界，分布式系统和微服务架构盛行。业界著名的CAP理论也告诉我们，在设计和实现一个分布式系统时，需要将数据一致性、系统可用性和分区容忍性放在一起考虑。 1、CAP理论 在分布式系统中，一致性（Consistency）、可用性（Availability）和分区容忍性（Par 阅读全文
posted @ 2018-04-14 17:09 阿凡卢 阅读(18906) 评论(1) 推荐(2) 编辑
Kafka基本原理
摘要：简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 Kafka架构 它的架构包括以下组件： 话题（Topic）：是特定类型的消息流。消息是字 阅读全文
posted @ 2016-05-14 15:24 阿凡卢 阅读(31755) 评论(5) 推荐(5) 编辑
基于ZooKeeper的分布式锁和队列
摘要：在分布式系统中，往往需要一些分布式同步原语来做一些协同工作，上一篇文章介绍了Zookeeper的基本原理，本文介绍下基于Zookeeper的Lock和Queue的实现，主要代码都来自Zookeeper的官方recipe。 锁（Lock） 完全分布式锁是全局同步的，这意味着在任何时刻没有两个客户端会同 阅读全文
posted @ 2015-10-18 16:52 阿凡卢 阅读(38466) 评论(0) 推荐(6) 编辑
ZooKeeper基本原理
摘要：ZooKeeper简介 ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 ZooKeeper设计目的 1.最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最 阅读全文
posted @ 2015-10-17 14:23 阿凡卢 阅读(40979) 评论(7) 推荐(18) 编辑
ElasticSearch的基本原理与用法
摘要：一、简介 ElasticSearch和Solr都是基于Lucene的搜索引擎，不过ElasticSearch天生支持分布式，而Solr是4.0版本后的SolrCloud才是分布式版本，Solr的分布式支持需要ZooKeeper的支持。 这里有一个详细的ElasticSearch和Solr的对比：ht 阅读全文
posted @ 2015-10-11 16:35 阿凡卢 阅读(57606) 评论(9) 推荐(4) 编辑