2020年10月28日
摘要:
概览 缓存是一个有着更快的查询速度的存储技术,这里的更快是指比起从初始的数据源查询(比如数据库,以下都称作数据库)而言。我们经常会把频繁请求的或是耗时计算的数据缓存起来,在程序收到请求这些数据的时候可以直接从缓存中查询数据返回给客户端来提高系统的吞吐量,现在我们来看看有哪些缓存模式可以考虑。 Cac
阅读全文
posted @ 2020-10-28 19:51
duanxz
阅读(1290)
推荐(0)
2020年9月24日
摘要:
1-简介 审计日记就是记录用户的操作记录 基于AOP动态代理 实现自定义审计日志注解, 并支持Spel表达式解析 2-实现 2-1 日志存储实体类 @Data @Builder @ToString public class AuditingLog { private String userId; /
阅读全文
posted @ 2020-09-24 18:06
duanxz
阅读(2725)
推荐(0)
2020年9月23日
摘要:
最近依旧在学习阅读Spring Boot的源代码,在此过程中涉及到很多在日常项目中比较少见的功能特性,对此深入研究一下,也挺有意思,这也是阅读源码的魅力之一。这里写成文章,分享给大家。 自动配置中的ObjectProvider 在阅读Spring Boot自动配置源码中关于redis的配置时,看到这
阅读全文
posted @ 2020-09-23 11:08
duanxz
阅读(837)
推荐(0)
2020年7月22日
摘要:
Lombok就用到插入式注解处理器,Lombok通过注解的方式,在编译时自动为属性生成构造器、getter/setter、equals、hashcode、toString等方法。 插入式注解处理器是JSR-269中定义的API,该API可以在编译期对代码中的特定注解进行处理,从而影响到前端编译器的工
阅读全文
posted @ 2020-07-22 14:08
duanxz
阅读(1326)
推荐(0)
2020年4月25日
摘要:
一、elasticsearch版本与jdk版本对应关系 参考位置 2020年3月27日更新 二、Transport Client和Rest Client对比 所有Elasticsearch操作都是使用Client对象执行的。Client 定义的所有API都是异步执行的。(要么使用事件监听器回调或者使
阅读全文
posted @ 2020-04-25 23:01
duanxz
阅读(4318)
推荐(1)
2020年4月14日
摘要:
一、读写分离相关的理论 1.1、ReadPreference读偏好 1.2脏数据 1.3复制集的缺点 1.4读隔离 Read Concern 1.5写确认 Write Concern 二、springboot中实现读写分离 2.1 MongoDB连接池指定读模式 2.2、在代码层面动态切换 一、读写
阅读全文
posted @ 2020-04-14 11:57
duanxz
阅读(10548)
推荐(2)
2020年4月10日
摘要:
一、思考的背景 从16年开始,互联网用户增长趋缓,同比仅增长。一方面,不论是线上还是线下,新用户的获取成本都很高。另一方面,用户时间增长也在趋缓。在用户花费时间趋向饱和情况下,不同的产品之间同样存在竞争关系。 在这个背景下,随着用户量增长,运营人员面临新的挑战,有以下核心诉求: 一般运营活动中,怎么
阅读全文
posted @ 2020-04-10 09:55
duanxz
阅读(1643)
推荐(1)
2020年4月1日
摘要:
一、数据集类型 现实世界中,所有的数据都是以流式的形态产生的,不管是哪里产生的数据,在产生的过程中都是一条条地生成,最后经过了存储和转换处理,形成了各种类型的数据集。如下图所示,根据现实的数据产生方式和数据产生是否含有边界(具有起始点和终止点)角度,将数据分为两种类型的数据集,一种是有界数据集,另外
阅读全文
posted @ 2020-04-01 10:48
duanxz
阅读(10615)
推荐(0)
2020年3月30日
摘要:
Impala和Hive的关系 Impala是基于Hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析,实现了Hive的SQL语义的子集,功能还在不断的完善中。 与Hive
阅读全文
posted @ 2020-03-30 13:56
duanxz
阅读(5426)
推荐(0)
摘要:
一、概述 1.什么是数据模型? 数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。 2.典型数据仓库建模方法论 ER模型 纬度模型(建模四步曲:确定业务流程->确定粒度->确定纬度->确定事实表) 二、阿里巴巴数据整合管理体系oneData 1.体系架构 核心内容
阅读全文
posted @ 2020-03-30 11:39
duanxz
阅读(3331)
推荐(0)
2020年3月29日
摘要:
任何完整的大数据平台,一般包括以下的几个过程:数据采集–>数据存储–>数据处理–>数据展现(可视化,报表和监控)。 其中,「数据采集」是所有数据系统必不可少的,随着大数据越来越被重视,「数据采集」的挑战也变的尤为突出。这其中包括: 数据源多种多样 数据量大 变化快 如何保证数据采集的可靠性的性能 如
阅读全文
posted @ 2020-03-29 22:06
duanxz
阅读(4392)
推荐(1)
摘要:
一、如何构建指标体系 在搭建指标体系之前,先理解什么是指标? 指标,实际上就是一种度量。大到用于监控和评估商业进程的状态,小到衡量某个功能模块的情况,或者是活动效果。 指标体系,也就是将指标由粗到细,由宏观到围观进行逐层分解所构成的体系。 通过指标分级的方法,可以将指标化解为不同层级并逐步分析。 1
阅读全文
posted @ 2020-03-29 19:18
duanxz
阅读(1503)
推荐(0)
摘要:
所谓埋点就是在应用中特定的流程收集一些信息,用来跟踪应用使用的状况,后续用来进一步优化产品或是提供运营的数据支撑,包括访问数(Visits),访客数(Visitor),停留时长(Time On Site),页面浏览数(Page Views)和跳出率(Bounce Rate)。这样的信息收集可以大致分
阅读全文
posted @ 2020-03-29 19:06
duanxz
阅读(2182)
推荐(0)
2020年3月28日
摘要:
Go语言标准库 - net/http 在学习Go语言有一个很好的起点,Go语言官方文档很详细,今天我们学习的Go Web服务器的搭建就需要用到Go语言官方提供的标准库 net/http,通过http包提供了HTTP客户端和服务端的实现。同时使用这个包能很简单地对web的路由,静态文件,模版,cook
阅读全文
posted @ 2020-03-28 20:27
duanxz
阅读(1482)
推荐(0)
2020年3月19日
摘要:
go的开发环境搭建:https://www.cnblogs.com/wqzn/p/11730052.html GOROOT和GOPATH GOROOT和GOPATH都是环境变量, 其中GOROOT是我们安装go开发包的路径, GOPATH是存放go的代码目录, 从Go 1.8版本开始,Go开发包在安
阅读全文
posted @ 2020-03-19 19:45
duanxz
阅读(588)
推荐(0)
2020年3月14日
摘要:
摘要: 本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。 本文主线:问题、解决方案、依赖基础知识、工程实践、目标、经验分享。立足企业真实问题、常规解决策略,引出依赖的容器技术、实践方案,所有这些落实到工程实践,要解决那些问题、实现哪些目标、技术大趋势的影响。最后给出阿里巴巴的实践经验。本序
阅读全文
posted @ 2020-03-14 11:50
duanxz
阅读(5114)
推荐(0)
2020年3月13日
posted @ 2020-03-13 20:19
duanxz
阅读(0)
推荐(0)
posted @ 2020-03-13 11:34
duanxz
阅读(0)
推荐(0)
posted @ 2020-03-13 10:06
duanxz
阅读(0)
推荐(0)
2020年3月11日
摘要:
支付系统中热点账户的性能问题 热点账户类型 账户属性 实时需求 锁需求 处理方式 性能 业务大账户 内部账户 无实时余额查询 无实时提现 无需加锁 异步MQ延时处理 满足 大代理商账户 对外账户 无实时余额查询 无实时提现 没有加锁需求 异步MQ延时处理 满足 热门商户(推广) 对外账户 商户账户
阅读全文
posted @ 2020-03-11 16:11
duanxz
阅读(1776)
推荐(0)
2019年12月20日
摘要:
Spring Data操作Redis时,发现key值出现 \xac\xed\x00\x05t\x00\tb 先说现象吧,通过redisTemplate下的opsForHash方法存储hash类型的值,操作成功以后,去redis控制台显示keys * 的时候,发现一个奇怪的现象,插入的hash类型的k
阅读全文
posted @ 2019-12-20 17:33
duanxz
阅读(830)
推荐(0)
2019年11月29日
摘要:
项目地址:grpc-spring-boot-starter grpc是一个出身名门的RPC框架,性能高,灵活度高,支持多语言。 支持多语言,如果你的项目在使用多种语言做开发,非常推荐使用。 作为Java的扛把子,Spring没有提供官方的spring-boot-starter-grpc,所以出现了很
阅读全文
posted @ 2019-11-29 15:09
duanxz
阅读(2823)
推荐(0)
摘要:
首先了解一下概念:《蓝绿部署、红黑部署、AB测试、灰度发布、金丝雀发布、滚动发布的概念与区别》 Nepxion Discovery: 最近公司项目在做架构升级,升级为 Spring Cloud,我们希望能够做到服务的灰度发布,根据访问量逐渐切换用新版本替换老版本,并且能够做到代码零入侵的,毕竟每次发
阅读全文
posted @ 2019-11-29 14:48
duanxz
阅读(3012)
推荐(0)
2019年11月25日
摘要:
Spring Cloud Stream 是消息中间件组件,它集成了 kafka 和 rabbitmq 。Spring Cloud Stream是一个用于构建消息驱动的微服务应用程序的框架,是一个基于Spring Boot 创建的独立生产级的,使用Spring Integration提供连接到消息代理
阅读全文
posted @ 2019-11-25 17:54
duanxz
阅读(3231)
推荐(0)
摘要:
如果需要客户端获取到最新的配置信息需要执行refresh,我们可以利用webhook的机制每次提交代码发送请求来刷新客户端,当客户端越来越多的时候,需要每个客户端都执行一遍,这种方案就不太适合了。使用Spring Cloud Bus可以完美解决这一问题。 Spring bus的一个核心思想是通过分布
阅读全文
posted @ 2019-11-25 16:26
duanxz
阅读(3567)
推荐(0)