随笔分类 -  集群

mimir grafana 团队开源的时序数据存储服务
摘要:mimir 是grafana团队在Cortex基础之上新的时序存储引擎,底层基于对象存储就可以解决了 特性 100% prometheus 兼容 基于复制的高可用 基于对象存储的长时存储 基于分片以及水平扩展的强大查询性能 多租户支持以及数据隔离(同时支持租户联邦) 水平扩展的集群架构 支持metr 阅读全文

posted @ 2022-03-31 20:50 荣锋亮 阅读(459) 评论(0) 推荐(0) 编辑

signoz 开源apm 工具试用
摘要:signoz 官方提供了demo ,我们基于docker 也可以快速的体验服务 参考架构 signoz 的架构还是比较简单的,利用了社区的标准(OpenTelemetry),同时集成了metrics 以及trace,类似的grafan tempo 也是一个全家桶的东西使用也比较简单 运行 注意对于d 阅读全文

posted @ 2022-03-31 20:49 荣锋亮 阅读(1575) 评论(0) 推荐(0) 编辑

minio 4*4 集群 故障测试
摘要:因为一个minio有点集群故障(文件写入异常),所以基于官方的理论测试下集群容错性 一个计算规则 4*4 模式的,默认使用的纠删码条纹为16 (官方的模式是取最大,但是计算页面可以调整,对于minio来说这个是自动的),按照套路应该是可以一个server 以及4个盘异常的,不应该出现一个节点异常造成 阅读全文

posted @ 2022-03-26 19:54 荣锋亮 阅读(1003) 评论(0) 推荐(0) 编辑

ozone 为 apache hadoop 提供扩展分布式对象存储的服务
摘要:主要是为hadoop 以及cloud native 环境一共可扩展,冗余的分布式对象存储 支持的特性 多协议(hadoop fs 以及s3) 可扩展,可以支持10亿级对象存储 强一致系统 cloud native 安全(支持kereros 集成) 高可用 核心组件 说明 ozone 做为s3 以及强 阅读全文

posted @ 2022-01-02 23:45 荣锋亮 阅读(218) 评论(0) 推荐(0) 编辑

centraldogma基于git&zk&http2的高可用支持版本管理的配置服务工具
摘要:centraldogma是line开源的基于git&zk&http2的服务配置管理工具,支持版本管理(基于git特性) 参考架构图 说明 使用centraldogma做为一个配置管理工具是很不错的,完善的版本管理,watch支持,同时支持ha,支持git repo 的镜像,方便的数据格式处理(jso 阅读全文

posted @ 2021-06-13 21:23 荣锋亮 阅读(158) 评论(0) 推荐(0) 编辑

dremio 连接dremio 扩展dremio 集群规模
摘要:将dremio 串联到dremio 可以扩展dremio 的能力提供一种联邦的能力,扩展数据查询以及数据虚拟层的能力 参考图 说明 就是类似一种联邦的模式,dremio 可以串联dremio,核心方法是开发一个dremio 的arp connector,具体的开发方式与cratedb 的模式是一样的 阅读全文

posted @ 2021-04-05 09:13 荣锋亮 阅读(151) 评论(0) 推荐(0) 编辑

vernemq 典型的部署模型
摘要:内容来自官方文档,就是一个记录 参考图 一些说明 proxy 协议支持 vernemq 支持proxy 1 以及proxy 2 协议 (http://www.haproxy.org/download/1.8/doc/proxy-protocol.txt) 参考配置 listener.tcp.prox 阅读全文

posted @ 2020-11-29 09:35 荣锋亮 阅读(1175) 评论(0) 推荐(0) 编辑

vernemq webhook 集成使用
摘要:vernemq支持插件化开发,包含了lua的,以及基于webhook的,基于webhook 的好处是灵活,同时保留的钩子比较多,我们可以灵活扩展 同时webhook可以基于多语言开发,缺点当然也有,webhook 的可靠性以及稳定性(也比较简单,扩展多集群) 以下是关于vernemq webhook 阅读全文

posted @ 2020-11-28 22:15 荣锋亮 阅读(646) 评论(0) 推荐(0) 编辑

tanka灵活可重用的k8s 配置语言
摘要:tanka 就有jsonnet 同时扩展了jsonnet,可以让我们灵活的进行k8s 的配置管理 包含的特性 清晰 基于jsonnet 可重用 简洁 自信,基于tk 的diff 可以知道我们的变动 生成可用 参考资料 https://github.com/grafana/tanka https:// 阅读全文

posted @ 2020-11-14 11:59 荣锋亮 阅读(381) 评论(0) 推荐(0) 编辑

waypoint 参考架构
摘要:以下内容来自官方文档 概览 包含的组件 server waypoint 比较核心的存储状态的服务,同时提供了api,方便cli,enrtypoint 以及其他消费者访问 cli 就是我们客户端使用的工具 entrypoint 提供了exec log 以及url 服务,属于一个包装,方便server 阅读全文

posted @ 2020-10-18 10:53 荣锋亮 阅读(542) 评论(0) 推荐(0) 编辑

drill 学习 六 数据存储插件配置
摘要:具体可以参考以前整理的一个(比较简单,主要是关于常用数据库的) https://www.cnblogs.com/rongfengliang/p/6926009.html https://www.cnblogs.com/rongfengliang/p/6940485.html 说明 官方文档对于存储插 阅读全文

posted @ 2020-10-04 15:26 荣锋亮 阅读(200) 评论(0) 推荐(0) 编辑

drill 学习 五 配置说明- 安全
摘要:安全是一个比较重要的,但是在实际的开发中,大家可能关注的不是很多,drill 安全配置包含: 认证: 基于Kerberos模式,用户密码模式,签名 加密: 基于Kerberos提供数据的保密以及一致性 授权: 当前主要基于hive 授权配置模拟用户 模拟: 配置模拟用户,配置入展模拟,使用hive配 阅读全文

posted @ 2020-10-04 15:09 荣锋亮 阅读(336) 评论(0) 推荐(0) 编辑

drill 学习 五 配置说明- 内存
摘要:关于 drill 的配置主要包含了: 内存配置 多租户配置 安全配置 性能以及功能配置 查询profile以及数据配置配置 内存配置 drill 使用包含了jvm 的直接内存,堆内存,核心使用最多的是直接内存,默认是8G,但是推荐配置更好(drill 高效使用了内存) 大部分场景drill使用的是内 阅读全文

posted @ 2020-10-04 11:38 荣锋亮 阅读(398) 评论(0) 推荐(0) 编辑

drill 学习 四 drill参考案例
摘要:具体案例来自官方文档,只是简单的说明下,详细的可以参考官方文档 环境准备 运行drill 测试环境可以通过docker运行,简单方便 简单查询 查询json文件 SELECT * FROM cp.`employee.json` LIMIT 3; 查询parquet文件 SELECT * FROM d 阅读全文

posted @ 2020-10-04 11:00 荣锋亮 阅读(337) 评论(0) 推荐(0) 编辑

drill 学习 三 drill 参考架构介绍二
摘要:前边有简单介绍过drill的整体设计,以下是关于查询执行处理的简单介绍drill 包含了一个foreman 组件 foreman 主要 是进行会话以及sql 处理 sql 处理过程 参考图: 说明: 从客户端或应用程序接收查询的Drillbit成为查询的foreman,并驱动整个查询。Foreman 阅读全文

posted @ 2020-10-04 08:13 荣锋亮 阅读(381) 评论(0) 推荐(0) 编辑

Kubernetes Multi-Tenancy — A Best Practices Guide
摘要:转自:https://medium.com/faun/kubernetes-multi-tenancy-a-best-practices-guide-88e37ef2b709 Kubernetes multi-tenancy is a topic that more and more organiz 阅读全文

posted @ 2020-09-30 13:02 荣锋亮 阅读(346) 评论(0) 推荐(0) 编辑

hazelcast-jet docker 运行试用
摘要:上次有简单写过关于潜入模式的使用,以下是一个使用server 模式基于docker-compose 运行的demo hazelcast-jet 参考架构 环境准备 docker-compose 包含了一个management (注意多实例管理需要license)同时添加了prometheus 支持 阅读全文

posted @ 2020-07-15 20:16 荣锋亮 阅读(476) 评论(0) 推荐(0) 编辑

Autopilot Pattern Applications 开发模式
摘要:转自:http://autopilotpattern.io/,一种不错的应用开发模式 The autopilot pattern automates in code the repetitive and boring operational tasks of an application, incl 阅读全文

posted @ 2020-05-01 16:44 荣锋亮 阅读(234) 评论(0) 推荐(0) 编辑

victoriametrics 快速高效&&可扩展的时序数据库
摘要:victoriametrics 是一个时序数据库,可以用来作为prometheus 的long-term 远端存储 特性 支持promtheus 查询api,同时实现了一个metricsql 查询语言 支持全局查询视图,好处多prometheus 实例写数据到victoriametrics,然后提供 阅读全文

posted @ 2020-04-27 23:15 荣锋亮 阅读(4765) 评论(0) 推荐(0) 编辑

基于docker-compose部署 简单nsq 集群
摘要:主要目的是搭建一个测试环境,同时使用了nodejs 客户端sdk nsq 简单了解 nsqd:一个负责接收、排队、转发消息到客户端的守护进程 nsqlookupd:管理拓扑信息并提供最终一致性的发现服务的守护进程 nsqadmin:一套Web用户界面,可实时查看集群的统计数据和执行各种各样的管理任务 阅读全文

posted @ 2019-09-25 20:36 荣锋亮 阅读(1609) 评论(0) 推荐(0) 编辑

导航