摘要：
如何保证数据写入过程中不丢 数据写入请求达到时，以需要的数据格式组织并写入磁盘的过程叫做数据提交，对应es就是创建倒排索引，维护segment文件 如果我们同步的方式，来处理上述过程，那么系统的吞吐量将很低 如果我们以异步的方式，先写入内存，然后再异步提交到磁盘，则有可能因为机器故障而而丢失还未写入 阅读全文
摘要：
一、大幅度制约存储介质吞吐量的原因 首先抛出结论。无论任何存储介质（不管是机械硬盘还是SSD，抑或是内存）的顺序访问速度都远远高出随机访问的速度。 二、传统数据库的实现机制 传统数据库，比如Mysql使用的b+树索引，对读友好。但容易造成随机写。比如新插入一个值到数据库，首先我们要读取b+树，判断新 阅读全文
摘要：
Apache Hudi使用简介 数据实时处理和实时的数据 实时分为处理的实时和数据的实时 即席分析是要求对数据实时的处理，马上要得到对应的结果 Flink、Spark Streaming是用来对实时数据的实时处理，数据要求实时，处理也要迅速 数据不实时，处理也不及时的场景则是我们的数仓T+1数据 而 阅读全文
摘要：
clickhouse 简介 ck是一个列式存储的数据库，其针对的场景是OLAP。OLAP的特点是： 数据不经常写，即便写也是批量写。不像OLTP是一条一条写 大多数是读请求 查询并发较少，不适合放置先生高并发业务场景使用 , CK本身建议最大一秒100个并发查询。 不要求事务 click的优点 为了 阅读全文
摘要：
什么是内存泄漏 内存泄漏是指java应用的堆内存使用率持续升高，直至内存溢出。 内存泄漏的的原因可能有多种 分配给应用程序的内存本身过小。而应用的业务代码，确实需要生成大量的对象 代码bug，某些需要被回收的对象，由于代码bug，却持续的被引用，导致java虚拟机无法回收这些对象。从而撑爆内存 无论 阅读全文
摘要：
docker compose的使用场景 我们开发的时候，一个应用往往依赖多个服务。采用传统的docker run方式，要挨个启动多个服务，甚至需要配置对应的网络,过程比较繁琐，很不方便。 docker compose旨在通过将多服务的构建和依赖关系都编写在docker-compose.yml中，通过 阅读全文
摘要：
错误现象 Stdout: Stderr: 2020/05/27 20:01:37 resolving /mnt/host/c/Program Files/Docker/Docker/resources/wsl/docker-wsl-cli.iso... Error: mounting wslCLID 阅读全文
摘要：
什么是BOM BOM全称是Bill Of Materials，译作材料清单。BOM本身并不是一种特殊的文件格式，而是一个普通的POM文件，只是在这个POM中，我们罗列的是一个工程的所有依赖和其对应的版本。该文件一般被其它工程使用，当其它工程引用BOM中罗列的jar包时，不用显示指定具体的版本，会自动 阅读全文
摘要：
前言 前一篇《指标管理系统设计》，我讲了指标体系要解决的问题，以及指标系统宏观搭建和模型上的设计。其中对具体实施时的计算存储架构说的不是特别清楚。这一篇，我将着重介绍指标计算架构的设计。 过往的一些实现问题 指标体系跟标签体系其实有些类似，都有很多的字段，甚至在某种程度上，他们还可以成为依托关系。比 阅读全文
摘要：
Spock测试套件 Spock套件基于一个单元测试框架，它有比junit更为简洁高效的测试语法。 核心概念 整体认识 Spock中一个单元测试类名叫Specification。所有的单元测试类，都需要继承Specification class MyFirstSpecification extends 阅读全文