随笔分类 -  分布式大数据

级联数据获取方案
摘要:背景,分布式系统中,我们需要数据级联,很多时候拿到的是userId或者List,然后返回给前端展示的时候需要id对应的一些其他信息比如昵称。为啥我们只有id,没有直接查询出来这些信息呢?可能是表关联太多,性能低。也可能是对应的数据在另外的服务上面,没法用表关联。 首先说一句,通过id 轮询查询 附加 阅读全文

posted @ 2023-01-09 00:22 zhangyukun 阅读(242) 评论(0) 推荐(0)

spring cloud alibaba 基本用法
摘要:maven import 属性 <!--spring alibaba--> <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-alibaba-dependencies</artifactId> <ve 阅读全文

posted @ 2022-07-03 16:39 zhangyukun 阅读(208) 评论(0) 推荐(0)

spring cloud 集成和使用
摘要:说明: 父工程文件如下: spring boot 版本:2.6.8 spring cloud 版本:3.1.3 hystrix,停更以后没有最新版,所以用的:2.2.10.RELEASE 父工程 pom.xml 如下:所有子项目使用的依赖版本都在这里面 <?xml version="1.0" enc 阅读全文

posted @ 2022-06-29 22:30 zhangyukun 阅读(316) 评论(0) 推荐(0)

Snowflake 雪花算法 原理说明和注意事项
摘要:先看图中雪花算法的结构 第一段1位,固定0, 69年以后可能会用1,也就是说默认在一个系统中只能用最多69年,如果征用第一位可以使用139年。 第二段41位,用时间毫秒数数表示41位大概是69年多,默认表示1971年1月1日到当前时间的毫秒数,有的雪花算法优化支持设定这个起算时间,我们可以把它指定位 阅读全文

posted @ 2022-06-25 23:48 zhangyukun 阅读(2628) 评论(1) 推荐(1)

centos 安装kafka
摘要:1 恢复内容开始 1 安装zookeeper 1 下载 https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz 2 解压: tar -zxvf apache-zookeeper-3.8. 阅读全文

posted @ 2022-05-27 20:39 zhangyukun 阅读(91) 评论(0) 推荐(0)

常见限流算法
摘要:常见限流算法 计数器算法(固定窗口): 描述:指定时间段内只能通过N个请求,多与的请求被拒绝,当时间节点到达下一个阶段的时候重置允许通过的数量N 实现:一段时间我们可以时间毫秒除单位时间 做为阶段标志来区分时间段,初始化计数器的时候设置容量为N,来一个请求N-1,N=0 的时候拒绝后面的请求,如果毫 阅读全文

posted @ 2022-04-23 12:55 zhangyukun 阅读(139) 评论(0) 推荐(0)

Dubbo 测试用例 获取注册中心的其他服务
摘要:package com.xyebank.uk.user.service; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.beans.factory.annotation.Autow 阅读全文

posted @ 2022-04-12 17:49 zhangyukun 阅读(303) 评论(0) 推荐(0)

fastdfs 安装和使用
摘要:fastdfs 全套依赖阿里云盘地址: 「fastdfsv5.08安装全套依赖」https://www.aliyundrive.com/s/hDpZdKVFBuk 点击链接保存,或者复制本段内容,打开「阿里云盘」APP ,无需下载极速在线查看,视频原画倍速播放。 一、 fastdfs tracker 阅读全文

posted @ 2022-03-13 14:32 zhangyukun 阅读(688) 评论(0) 推荐(0)

redison 自动续期的 分布式锁
摘要:1 导入 maven <dependency> <groupId>org.redisson</groupId> <artifactId>redisson</artifactId> <version>3.11.1</version> </dependency> 2 初始化redisson 客户端(re 阅读全文

posted @ 2022-03-12 18:58 zhangyukun 阅读(4972) 评论(0) 推荐(0)

mongo 语法总结
摘要:1 mongo 一个分布式无模式文档数据库 2 mongo Collection相当于 mymsql 的 表, docment 相当于 mysql 的行,mongo 的 docment 是无模式的,每一行都可以 是不同格式。 3 mongo 单个 docment 最大长度 默认是 16M 。如果要使 阅读全文

posted @ 2020-04-11 17:14 zhangyukun 阅读(3221) 评论(0) 推荐(0)

分布式事务框架 TX-LCN 使用
摘要:TX-LCN 是一个分布式 事务框架, 很好用,原理简单实用简单,但是已经停止更新一年多了。 支持多种 分布式事务的方案,这次直说最核心的LCN 方式。 名词解释 TM: 事务管理中心 TC:就是我们的服务 原理:TC-A 发起一个 基于本地事务的分布式事务, 这时候产生一个随机Id 标志这个 TC 阅读全文

posted @ 2020-03-13 15:26 zhangyukun 阅读(2431) 评论(0) 推荐(0)

分布式事务 XA 两段式事务 X/open CAP BASE 一次分清
摘要:分布式事务: 分布式事务是处理多节点上 的数据保持 类似传统 ACID 事物特性的 一种事物。 XA:是一种协议,一种分布式事务的协议,核心思想是2段式提交。 1 准备阶段 2 提交阶段。XA协议是 Tuxedo 首先提出的 XA 的 原理 ,XA分了 几个角色,RM ,TM ,AP 等 RM:资源 阅读全文

posted @ 2019-05-05 14:55 zhangyukun 阅读(1279) 评论(0) 推荐(0)

centos redis5 安装 和 基本配置
摘要:1 下载 redis wget http://download.redis.io/releases/redis-5.0.0.tar.gz 2 解压 tar xzf redis-5.0.0.tar.gz 3 编译 cd redis-5.0.0 make 4 启动 src/redis-server 备注 阅读全文

posted @ 2018-11-18 22:58 zhangyukun 阅读(350) 评论(0) 推荐(0)

zookeeper 相关
摘要:zookeeper是什么: zk 是 一个注册机,提供分布式锁。 zookerper可以做什么: 利用上面这两个特性。zookeeper 可以 为分布式提供 集群 的 一些管理 比如 高可用,名字服务等。 安装: 我安装的是 3.4.13 版本,可以去官网下载最新的版本。 1 下载: wget ht 阅读全文

posted @ 2018-10-14 22:29 zhangyukun 阅读(146) 评论(0) 推荐(0)

hadoop 概述
摘要:一, hadoop 的 安装: 修改 namenode 地址 修改 datanode 地址 修改JAVA_HOME 二 hdfs hdfs 分布式文件 系统。 namenode 存放在数据的元文件(文件名相关的信息)。datanode 存放着数据真实的内内容。 hadoop 启动 以后 。namen 阅读全文

posted @ 2018-09-24 23:35 zhangyukun 阅读(181) 评论(0) 推荐(0)

es中级部分知识点总结
摘要:搜索开始 1 es 5.2 以后 type:text 的字段 或默认建立 一个最长 256 个字符的不分词的 fields fields:{“type”:“keyword”,"ignore_above":256} 例子: 结果: 2 term query 就是不分词。直接匹配。但是只是 查询不分词, 阅读全文

posted @ 2018-08-26 20:36 zhangyukun 阅读(1147) 评论(1) 推荐(0)

elastic 部分更新 retry_on_conflict 和 数据库写锁 详细比对
摘要:1 数据库的 update 在修改这条数据的的过程中(这个过程指的是 数据库执行update 到 事务提交的过程中 )为这条数据加上 写锁,阻止 别的事务 对锁定数据的修改,请求后一个修改事务的线程阻塞,直到前一个事务的完成,所以针对这条数据的 2 个修改 是一个一个来的。所以 数据库的 updat 阅读全文

posted @ 2018-07-31 22:05 zhangyukun 阅读(6740) 评论(0) 推荐(1)

分布式数据存储 shard(切片) 和 repali(副本) 的 节点数的关系。
摘要:1 , node 的 数量 应该大于等于 副本(指的是单个 shard 的 主副本+备份副本数)的 数量 ,如果 副本的数量大于 node 数量,那么 一个node 必定有2 个相同的 副本,这个多出来的副本毫无意义。(如果是为了提高效率,可以提高 切片的 个数 ) 2 ,因为 副本 shard 和 阅读全文

posted @ 2018-07-30 20:45 zhangyukun 阅读(647) 评论(0) 推荐(0)

Linux elasticsearch 安装 遇到的问题
摘要:备注:我的 Linux 测试机 是2G 内存的 ,估计内存小于 我的内存肯定会出这个问题 。(安装的最新版6.3.2) 1. 下载文件 解压 2 .试着 运行 bin 下面的 elasticsearch 文件 ,提示 不能用root 用户 运行 3 ,切换了一个普通用户 运行(备注,需要在普通用户下 阅读全文

posted @ 2018-07-27 21:20 zhangyukun 阅读(149) 评论(0) 推荐(0)

导航