正文内容加载中...
posted @ 2021-04-10 15:34 西北偏北UP 阅读(140) 评论(0) 推荐(0) 编辑
摘要:Hadoop-yarn的安装配置,错误处理 阅读全文
posted @ 2021-04-10 15:34 西北偏北UP 阅读(140) 评论(0) 推荐(0) 编辑
摘要:hadoop相关笔记 阅读全文
posted @ 2021-04-03 18:14 西北偏北UP 阅读(234) 评论(0) 推荐(0) 编辑
摘要:如何保证数据写入过程中不丢 数据写入请求达到时,以需要的数据格式组织并写入磁盘的过程叫做数据提交,对应es就是创建倒排索引,维护segment文件 如果我们同步的方式,来处理上述过程,那么系统的吞吐量将很低 如果我们以异步的方式,先写入内存,然后再异步提交到磁盘,则有可能因为机器故障而而丢失还未写入 阅读全文
posted @ 2021-01-31 15:06 西北偏北UP 阅读(235) 评论(0) 推荐(0) 编辑
摘要:一、大幅度制约存储介质吞吐量的原因 首先抛出结论。无论任何存储介质(不管是机械硬盘还是SSD,抑或是内存)的顺序访问速度都远远高出随机访问的速度。 二、传统数据库的实现机制 传统数据库,比如Mysql使用的b+树索引,对读友好。但容易造成随机写。比如新插入一个值到数据库,首先我们要读取b+树,判断新 阅读全文
posted @ 2021-01-24 16:52 西北偏北UP 阅读(180) 评论(5) 推荐(1) 编辑
摘要:Apache Hudi使用简介 数据实时处理和实时的数据 实时分为处理的实时和数据的实时 即席分析是要求对数据实时的处理,马上要得到对应的结果 Flink、Spark Streaming是用来对实时数据的实时处理,数据要求实时,处理也要迅速 数据不实时,处理也不及时的场景则是我们的数仓T+1数据 而 阅读全文
posted @ 2020-12-27 19:47 西北偏北UP 阅读(517) 评论(0) 推荐(0) 编辑
摘要:clickhouse 简介 ck是一个列式存储的数据库,其针对的场景是OLAP。OLAP的特点是: 数据不经常写,即便写也是批量写。不像OLTP是一条一条写 大多数是读请求 查询并发较少,不适合放置先生高并发业务场景使用 , CK本身建议最大一秒100个并发查询。 不要求事务 click的优点 为了 阅读全文
posted @ 2020-11-30 22:47 西北偏北UP 阅读(861) 评论(0) 推荐(1) 编辑
摘要:什么是内存泄漏 内存泄漏是指java应用的堆内存使用率持续升高,直至内存溢出。 内存泄漏的的原因可能有多种 分配给应用程序的内存本身过小。而应用的业务代码,确实需要生成大量的对象 代码bug,某些需要被回收的对象,由于代码bug,却持续的被引用,导致java虚拟机无法回收这些对象。从而撑爆内存 无论 阅读全文
posted @ 2020-11-23 21:36 西北偏北UP 阅读(239) 评论(0) 推荐(0) 编辑
摘要:docker compose的使用场景 我们开发的时候,一个应用往往依赖多个服务。采用传统的docker run方式,要挨个启动多个服务,甚至需要配置对应的网络,过程比较繁琐,很不方便。 docker compose旨在通过将多服务的构建和依赖关系都编写在docker-compose.yml中,通过 阅读全文
posted @ 2020-10-25 22:57 西北偏北UP 阅读(816) 评论(2) 推荐(2) 编辑
摘要:错误现象 Stdout: Stderr: 2020/05/27 20:01:37 resolving /mnt/host/c/Program Files/Docker/Docker/resources/wsl/docker-wsl-cli.iso... Error: mounting wslCLID 阅读全文
posted @ 2020-10-11 12:10 西北偏北UP 阅读(160) 评论(0) 推荐(0) 编辑
摘要:什么是BOM BOM全称是Bill Of Materials,译作材料清单。BOM本身并不是一种特殊的文件格式,而是一个普通的POM文件,只是在这个POM中,我们罗列的是一个工程的所有依赖和其对应的版本。该文件一般被其它工程使用,当其它工程引用BOM中罗列的jar包时,不用显示指定具体的版本,会自动 阅读全文
posted @ 2020-09-28 23:44 西北偏北UP 阅读(1262) 评论(0) 推荐(0) 编辑