随笔分类 - [71]NoSql
-
kafka高吞吐量的分布式发布订阅的消息队列系统
摘要:一:kafka介绍kafka(官网地址:http://kafka.apache.org)是一种高吞吐量的分布式发布订阅的消息队列系统,具有高性能和高吞吐率。 1.1 术语介绍BrokerKafka集群包含一个或多个服务器,这种服务器被称为brokerTopic主题:每条发布到Kafka集群的消息都有 阅读全文
-
kafka高可用性集群
摘要:kafka集群并测试其高可用性 介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关 阅读全文
-
Redis Sentinel分布式集群
摘要:helm部署Redis哨兵分布式集群 Redis Sentinel集群 介绍 Redis Sentinel集群是由若干Sentinel节点组成的分布式集群,可以实现故障发现、故障自动转移、配置中心和客户端通知。 如下图: Redis Sentinel 故障转移过程: 从这张图中我们能看到主节点挂掉了 阅读全文
-
Apache Kafka® is a distributed streaming platform
摘要:Kafka Connect简介 我们知道过去对于Kafka的定义是分布式,分区化的,带备份机制的日志提交服务。也就是一个分布式的消息队列,这也是他最常见的用法。但是Kafka不止于此,打开最新的官网。 我们看到Kafka最新的定义是:Apache Kafka® is a distributed st 阅读全文
-
Redis|Sentinel
摘要:Redis|Sentinel 高可用架构 一 前言 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端)都没有实现自动进行主备切换,而Redis-sentine 阅读全文
-
跳跃表
摘要:跳跃表 前言# 跳跃表是一种有序的数据结构,它通过在每个节点中维持多个指向其他节点的指针,从而达到快速访问节点的目的。这么说,我们可能很难理解,我们可以先回忆一下链表。 一、复习跳跃表# 1.1 什么是跳跃表# 对于一个单链表来讲,即便链表中存储的数据是有序的,如果我们要想在其中查找某个数据,也只能 阅读全文
-
Redis的五大数据类型
摘要:Redis的五大数据类型的底层实现 1、简介 Redis的五大数据类型也称五大数据对象;前面介绍过6大数据结构,Redis并没有直接使用这些结构来实现键值对数据库,而是使用这些结构构建了一个对象系统redisObject;这个对象系统包含了五大数据对象,字符串对象(string)、列表对象(list 阅读全文
-
RDB和AOF持久化
摘要:RDB和AOF持久化 https://www.cnblogs.com/Tu9oh0st/p/11229317.html Redis提供了不同的持久化选项: RDB持久化以指定的时间间隔保存那个时间点的数据快照。 AOF持久化方法则会记录每一个服务器收到的写操作。在服务器启动时,这些记录的操作会逐条执 阅读全文
-
使用Rabbit MQ消息队列
摘要:使用Rabbit MQ消息队列 综合概述 消息队列 消息队列就是一个消息的链表,可以把消息看作一个记录,具有特定的格式以及特定的优先级。对消息队列有写权限的进程可以向消息队列中按照一定的规则添加新消息,对消息队列有读权限的进程则可以从消息队列中读走消息,而消息队列就是在消息的传输过程中保存消息的容器 阅读全文
-
Redis高级主题
摘要:Redis高级主题 持久化 Redis 支持持久化, 其持久化数据有两种方式. 两种可以同时使用. 如果同时使用, Reids 在重启时将使用 AOF 方式来还原数据. RDB 按照一定策略定时同步内存的数据到磁盘.文件名 dump.rdb snapshot: 快照复制. Redis在指定情况下触发 阅读全文
-
ES最佳实践之分片使用优化
摘要:Elasticsearch最佳实践之分片使用优化 作者:老生姜 一、遇到的问题 与大多数分布式系统一样,Elasticsearch按照一定的Hash规则把用户数据切分成多个分片,然后打散到不同机器进行存储,从而实现大规模数据的分布式存储。 cluster.png 然而在一些复杂的应用场景中使用Ela 阅读全文
-
Solr的安装与配置
摘要:Solr的安装与配置 1.准备 1.准备 1.安装Java8 和 Tomcat9 ,java和tomcat 的安装这里不再重复。需要注意的是这两个的版本兼容问题。貌似java8 不支持,tomcat7 以下版本。 2.下载 solr安装包,目前的最新版本是 5.3.1 下载地址:http://www 阅读全文
-
ElasticSearch—分页查询
摘要:ElasticSearch查询—分页查询详解 Elasticsearch中数据都存储在分片中,当执行搜索时每个分片独立搜索后,数据再经过整合返回。那么,如何实现分页查询呢? 按照一般的查询流程来说,如果我想查询前10条数据: 1)客户端请求发给某个节点 2)节点转发给个个分片,查询每个分片上的前10 阅读全文
-
Elasticsearch 索引的全量/增量更新
摘要:Elasticsearch 索引的全量/增量更新 当你的es 索引数据从mysql 全量导入之后,如何根据其他客户端改变索引数据源带来的变动来更新 es 索引数据呢。 首先用 Python 全量生成 Elasticsearch 和 ik 初始的分词索引数据,增量更新索引实现如下: 服务端(Pytho 阅读全文
-
Redis安装和主要功能简介
摘要:Redis安装和主要功能简介 Redis(https://redis.io/), 是一个内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 安装Redis 我很少在开发机中直接装各种数据库,我一般使用Docker,针对Redis也不例外,我还是使用Docker。 这是Redis在Dock 阅读全文
-
配置搭建与使用redis
摘要:redis单点、redis主从、redis哨兵 sentinel,redis集群cluster配置搭建与使用 redis是如今被互联网公司使用最广泛的一个中间件,我们打开GitHub搜索redis,边可以看到,该项目的介绍是这样的: 从这句话中,我们可以提取其特性的关键字: in-memory da 阅读全文
-
用redis实现分布式锁
摘要:用redis实现分布式锁 https://www.cnblogs.com/love wzy/p/10190514.html 一 问题背景 我们做的是医疗信息化系统,在系统中一条患者信息对医院中当前科室中的所有诊断医生是可见的,当有一个诊断医生点击按钮处理该数据时,数据的状态发生了变化,其他的医生就不 阅读全文
-
Redis之数据持久化RDB与AOF
摘要:Redis之数据持久化RDB与AOF https://www.cnblogs.com/zackku/p/10087701.html 大家都知道,Redis之所以性能好,读写快,是因为Redis是一个内存数据库,它的操作都几乎基于内存。但是内存型数据库有一个很大的弊端,就是当数据库进程崩溃或系统重启的 阅读全文
-
阿里云ECS 环境是CentOS 7.3安装mongodb3
摘要:CentOS安装mongodb https://www.cnblogs.com/zddzz/p/10069912.html CentOS安装mongodb 我的是阿里云ECS 环境是CentOS 7.3 1.ssh登录服务器(工具可以用xshell,我用的是mac终端) $ ssh root@0.0 阅读全文
-
Redis构建全局并发锁
摘要:Redis构建全局并发锁 https://www.cnblogs.com/FG123/p/9990336.html 谈起Redis的用途,小伙伴们都会说使用它作为缓存,目前很多公司都用Redis作为缓存,但是使用Redis仅仅作为缓存未免太大材小用了。深究Redis的原理后你会发现它有很多用途,在很 阅读全文