上一页 1 ··· 43 44 45 46 47 48 49 50 51 ··· 133 下一页

2022年4月2日

基于nginx 的 yum 私服提供

摘要: 实际上主要是使用了nginx 进行静态资源的提供,核心还是基于rpm 的功能处理的 处理流程 yum repo 是基于容器构建处理的 生成repo元数据 docker run -it -v $PWD/packages:/opt/packages rpmbuild/centos7 sh sudo -i 阅读全文

posted @ 2022-04-02 23:32 荣锋亮 阅读(92) 评论(0) 推荐(0)

2022年4月1日

apm + tracing 一些开源工具参考资料

摘要: 内容来自signoz官方博客,可以参考 参考资料 https://signoz.io/blog/distributed-tracing-tools/https://signoz.io/blog/observability-tools/https://signoz.io/blog/apm-tools/ 阅读全文

posted @ 2022-04-01 23:45 荣锋亮 阅读(121) 评论(0) 推荐(0)

signoz reader 接口定义

摘要: reader 属于signoz的核心,提供了数据的查询处理(包含service,metrics,trace。。。) 参考定义 pkg/query-service/app/interface.go type Reader interface { GetChannel(id string) (*mode 阅读全文

posted @ 2022-04-01 23:13 荣锋亮 阅读(153) 评论(0) 推荐(0)

signoz 参考架构设计

摘要: 参考图 从下图可以看出signoz 主要包含的组件collector 使用了社区的,数据存储基于clickhouse ,对于prometheus 的writer 使用了 query service 处理部分 prometheus 集成 参考图直接嵌入了prometheus,使用了prometheus 阅读全文

posted @ 2022-04-01 22:00 荣锋亮 阅读(1150) 评论(0) 推荐(0)

2022年3月31日

mimir grafana 部署模式

摘要: mimir grafana 支持多种部署模式,all-in-one 以及微服务模式,all-in-one 是最简单而且高效的模式 mimir 写处理 读处理 单体模式 包含的命令-target=all 读写分离模式(扩容) 微服务模式 通过-target= 指定服务组件 参考资料 https://g 阅读全文

posted @ 2022-03-31 23:38 荣锋亮 阅读(465) 评论(0) 推荐(0)

部署时创建minio bucket 的方法

摘要: 参考玩法 如果我们在minio 启动的数据目录中直接创建文件夹,就会直接暴露为s3 bucket,比较适合的场景是系统部署的时候 需要依赖一个s3 bucket,我们可以直接先创建好 docker-compose 运行 docker-compose 文件 version: '3' services: 阅读全文

posted @ 2022-03-31 23:05 荣锋亮 阅读(2570) 评论(0) 推荐(0)

mimir grafana 时序存储参考试用

摘要: 参考示例demo图 运行 git clone https://github.com/grafana/mimir.git cd mimir cd docs/sources/tutorials/play-with-grafana-mimir/ docker-compose up 参考配置 prometh 阅读全文

posted @ 2022-03-31 21:48 荣锋亮 阅读(659) 评论(0) 推荐(0)

mimir grafana 团队开源的时序数据存储服务

摘要: mimir 是grafana团队在Cortex基础之上新的时序存储引擎,底层基于对象存储就可以解决了 特性 100% prometheus 兼容 基于复制的高可用 基于对象存储的长时存储 基于分片以及水平扩展的强大查询性能 多租户支持以及数据隔离(同时支持租户联邦) 水平扩展的集群架构 支持metr 阅读全文

posted @ 2022-03-31 20:50 荣锋亮 阅读(531) 评论(0) 推荐(0)

signoz 开源apm 工具试用

摘要: signoz 官方提供了demo ,我们基于docker 也可以快速的体验服务 参考架构 signoz 的架构还是比较简单的,利用了社区的标准(OpenTelemetry),同时集成了metrics 以及trace,类似的grafan tempo 也是一个全家桶的东西使用也比较简单 运行 注意对于d 阅读全文

posted @ 2022-03-31 20:49 荣锋亮 阅读(1764) 评论(0) 推荐(0)

2022年3月30日

temporal 开源微服务编排引擎

摘要: temporal 来自与uber的Cadence,使用上与Cadence 类似,但是功能是相对更加强大,目前已经有不少的企业已经在使用此工具做为系统的调度处理,同时提供了java,golang,php,ts 的sdk 说明 对于微服务的编排调度,目前还是一个比较广的领域,微服务不是银弹,代码的问题也 阅读全文

posted @ 2022-03-30 21:36 荣锋亮 阅读(2049) 评论(0) 推荐(0)

ShedLock 分布式锁服务

摘要: ShedLock 实际上是一个java 的包,我们基于次可以实现灵活的锁服务(比较适合调度任务),功能还是比较强大的,而且比较简单支持的数据库以及类似中间存储还是比较多的,而且提供了灵活的扩展点(多种java 框架也是支持的) 参考资料 https://github.com/lukas-krecan 阅读全文

posted @ 2022-03-30 21:35 荣锋亮 阅读(99) 评论(0) 推荐(0)

2022年3月29日

openresty ngx_http_upstream_check_module 模块安装

摘要: 实际上测试了tengine以及其他的ngx_http_upstream_check_module发现都不好使,反而发现ngx_healthcheck_module 值得使用 构建 基于docker,复用了openresty 官方的dockerfile 构建模式,核心流程如下 clone ngx_he 阅读全文

posted @ 2022-03-29 00:09 荣锋亮 阅读(843) 评论(0) 推荐(0)

2022年3月27日

coolify heroku & netlify 可选开源方案

摘要: coolify heroku & netlify 可选开源方案,基于js 开发,才功能上还是很不错的,使用了不少开源技术,值得学习下(比如关于haproxydataplaneapi 集成的) 支持的特性 参考资料 https://github.com/coollabsio/coolify 阅读全文

posted @ 2022-03-27 23:50 荣锋亮 阅读(169) 评论(0) 推荐(0)

supertokens autho firebase auth aws cognito 开源替换方案

摘要: supertokens autho firebase auth aws cognito 开源替换方案 自托管参考架构 从架构可以看出具体如何使用 用户登录流程 用户登出流程 参考资料 https://github.com/supertokens/supertokens-corehttps://sup 阅读全文

posted @ 2022-03-27 23:18 荣锋亮 阅读(154) 评论(0) 推荐(0)

minio 系统自动纠删码处理算法简单说明

摘要: 内容来自web的计算使用,可能会有不一致的地方,建议参考官方文档(理论上server 端以及web 端应该是一致的) 参考处理 主要是以下js 处理的 https://min.io/static/js/min-72976390afcf/page/erasure-code-calculator.js 阅读全文

posted @ 2022-03-27 20:44 荣锋亮 阅读(793) 评论(0) 推荐(0)

2022年3月26日

minio 4*4 集群 故障测试

摘要: 因为一个minio有点集群故障(文件写入异常),所以基于官方的理论测试下集群容错性 一个计算规则 4*4 模式的,默认使用的纠删码条纹为16 (官方的模式是取最大,但是计算页面可以调整,对于minio来说这个是自动的),按照套路应该是可以一个server 以及4个盘异常的,不应该出现一个节点异常造成 阅读全文

posted @ 2022-03-26 19:54 荣锋亮 阅读(1201) 评论(0) 推荐(0)

nocodb minio 集成试用

摘要: nocodb 包含了app store 可以方便进行外部集成,以下测试下关于minio s3的集成 实际上minio的集成属于存储扩展的集成(比如附件之类的存储,主要表单以及table 设计中的存储需要) 环境准备 docker-compose 文件 version: '3' services: m 阅读全文

posted @ 2022-03-26 18:20 荣锋亮 阅读(1331) 评论(0) 推荐(0)

nocodb 核心入口依赖

摘要: 主要介绍下后端服务的依赖 参考图 基于webstorm 生成的,基于此图我们学习nocodb 源码也就比较清晰了 说明 nocodb 是支持一种插件化的架构(直接内置的)参考图如下,从接口定义以及内置开发上还是比较清晰的,具体插件是在NcMetaMgr 中使用的以上只是一个简单的说明,从整体上介绍下 阅读全文

posted @ 2022-03-26 17:53 荣锋亮 阅读(645) 评论(0) 推荐(0)

minio 纠删码测试

摘要: 官方提供了一个纠删码以及存储空间计算的,比价有参考价值,方便我们了解部署的系统服务可用性情况 参考使用 以下是4节点,4 driver 的情况,基于此可以了解系统容错情况 参考资料 https://min.io/product/erasure-code-calculator 阅读全文

posted @ 2022-03-26 13:42 荣锋亮 阅读(237) 评论(0) 推荐(0)

2022年3月25日

nocodb 参考架构

摘要: 内容来自官方文档,主要是一个整体的了解nocodb的内部机制以及源码体系 参考图 支持的项目类型 包含了内部,外部以及基于excel 的,内部以及excel数据是存储在nc_db 中,外部数据存储在外部系统中,nocodb 对于数据的存储包含了元数据以及数据 存储 nocodb 项目结构 详细的可以 阅读全文

posted @ 2022-03-25 12:36 荣锋亮 阅读(1040) 评论(0) 推荐(0)

nocodb Airtable 可选开源工具

摘要: nocodb Airtable 可选开源工具,可以将pg、mysql、sql server 转为实施rest api 然后可以基于web 表格进行操作 运行 基于docker,快速运行 docker run -d --name nocodb -p 8080:8080 nocodb/nocodb:la 阅读全文

posted @ 2022-03-25 12:25 荣锋亮 阅读(506) 评论(0) 推荐(0)

2022年3月23日

pf4j spring 插件配置处理

摘要: pf4j spring 提供的spring 能力有点弱,但是我们可以自己扩展实现spring 插件类似spring boot 的配置处理能力 问题 比如我们需要实现如下的配置,自定转换,但是因为默认的spring 项目是不直接支持此特性的 @Configuration @PropertySource 阅读全文

posted @ 2022-03-23 13:25 荣锋亮 阅读(615) 评论(0) 推荐(0)

odbc 架构

摘要: odbc 是微软提供的标准数据访问机制,同时社区也包含了支持linux 以及mac 的实现 参考图 下图的mysql 可以是任何的支持的数据源 参考说明 driver manager 是一个通用的driver 管理,类似jdbc 的driver 支持注册一样,目前包含了微软的以及unixodbc等实 阅读全文

posted @ 2022-03-23 01:04 荣锋亮 阅读(74) 评论(0) 推荐(0)

2022年3月21日

使用odbc 提升cube.js 查询dremio 的性能

摘要: 主要是一个技术说明,后续开发相关的driver 原理 dremio 是支持obdc 访问的,odbc 是比直接的http 访问有更快的性能,而且可以使用更加标准的sql 查询 参考处理 社区已经有了完整的实现node-odbc 我们可以使用来使用 参考demo dremio 的odbc 需要先安装, 阅读全文

posted @ 2022-03-21 23:27 荣锋亮 阅读(120) 评论(0) 推荐(0)

2022年3月20日

lightdash 运行简单说明

摘要: 基于docker-compose 运行环境 docker-compose 文件 version: "3.8" services: lightdash: image: lightdash/lightdash:latest depends_on: - db environment: - PGHOST=$ 阅读全文

posted @ 2022-03-20 23:49 荣锋亮 阅读(266) 评论(0) 推荐(0)

lightdash 对于数据访问的处理

摘要: 我们在 Lightdash 的使命是:让您公司中的每个人都能使用数据回答他们自己的问题。 Lightdash 是数据团队(👷‍♀️ 建设者)和其他业务部门(👩‍🌾 消费者)聚集在一起以做出更好的数据驱动决策的地方。对于数据构建者和数据消费者之间的这种关系应该如何运作,我们有一些非常强烈的意见。 阅读全文

posted @ 2022-03-20 23:29 荣锋亮 阅读(499) 评论(0) 推荐(0)

jitsu 开源Segment 可选工具

摘要: jitsu 开源Segment 可选工具,核心基于golang 开发,100%兼容Segment api 说明 Segment 主要是国外的服务,国内使用的企业可能比较少,jitsu 是一个不错的开源选择,代码也是值得学习研究的 参考资料 https://github.com/jitsucom/ji 阅读全文

posted @ 2022-03-20 22:17 荣锋亮 阅读(201) 评论(0) 推荐(0)

lightdash ProjectAdapter 接口定义

摘要: 主要介绍接口定义,实际的实现后续说明 ProjectAdapter 是一个比较重要的东西,定义了project 以及dbt client ,WarehouseClient 接口定义 export interface ProjectAdapter { compileAllExplores(): Pro 阅读全文

posted @ 2022-03-20 22:06 荣锋亮 阅读(76) 评论(0) 推荐(0)

lightdash 源码简单介绍

摘要: 以下简单介绍下lightdash lightdash 源码结构 代码基于yarn workspace 模式,对于数据库访问为了提升性能基于了odbc(当然也是有其他原因的,比如本来就不能很好使用js驱动的) 核心代码目录都在packages 中 backend // 后端接口项目,比较核心 comm 阅读全文

posted @ 2022-03-20 21:46 荣锋亮 阅读(368) 评论(0) 推荐(0)

2022年3月19日

lightdash基于dbt 构建的looker 可选工具

摘要: 目前基于dbt 开源的东西不少了(dbt的确是数据分析的一个好工具)lightdash 就是基于dbt 开发的一个looker 可选工具基于了ts开发,我们可以基于配置进行dashborad 服务的开发 说明 Metriql 也是一个基于dbt 开发的(此工具是借鉴了dbt的处理,没有直接使用dbt 阅读全文

posted @ 2022-03-19 13:29 荣锋亮 阅读(343) 评论(0) 推荐(0)

2022年3月16日

pip "Directory not empty" while pip installing or updating a package in python3 问题解决

摘要: 解决此问题的方法最直接的方法就是直接强制重新安装包 pip install -r requirements.txt --ignore-installed 参考资料 https://blog.51cto.com/wutengfei/2161960 阅读全文

posted @ 2022-03-16 20:52 荣锋亮 阅读(81) 评论(0) 推荐(0)

nginx 使用mime.types 解决mac safari excel xls 下载格式为xls.xlw 问题

摘要: 这个问题属于mac safari的问题,解决方法很简单,就是自定义mime.types 对于xls 解析为application/octet-stream 就可以了 参考配置 mime.types types { text/html html htm shtml; text/css css; tex 阅读全文

posted @ 2022-03-16 00:34 荣锋亮 阅读(1260) 评论(0) 推荐(0)

2022年3月13日

dremio 的Spillservice 简单说明

摘要: Spillservice 的场景主要是处理sort ,hash agg 等一些操作,在需要使用本地文件cache的时候 类图 使用Spillservice 服务的模块 主要包含了SpillManager,IncomingBuffers,FragmentExecutor,OperatorContext 阅读全文

posted @ 2022-03-13 23:49 荣锋亮 阅读(100) 评论(0) 推荐(0)

spring boot 基于jackson 多态数据类型处理简化rest api 开发

摘要: 开发好可扩展的rest api 是一门技术,同时开发灵活扩展的rest api 也是比较费事的,很多时候 我们为了业务开发了特别多的rest api,造成系统的维护以及使用都很复杂,graphql 是一种不错的 解决方法(同时业界也有类似通用查询处理),以下是一个简单的基于jackson 多态数据处 阅读全文

posted @ 2022-03-13 20:53 荣锋亮 阅读(407) 评论(0) 推荐(0)

基于jackson 多态数据类型处理rest api 业务

摘要: jackson 支持多态数据类型处理,基于此特性我们可以实现灵活强大的类型处理,业务规则处理 同时基于此可以实现动态插件化的业务处理 参考使用 抽象类型定义 MyUser package com.dalong; import com.fasterxml.jackson.annotation.Json 阅读全文

posted @ 2022-03-13 11:08 荣锋亮 阅读(170) 评论(0) 推荐(0)

hilla maven 插件原理简单说明

摘要: hilla maven 插件的源码是分散在不同的代码库中,hilla 中包含一部分,flow 也包含一部分 插件参考使用 参考使用 <plugin> <groupId>dev.hilla</groupId> <artifactId>hilla-maven-plugin</artifactId> <v 阅读全文

posted @ 2022-03-13 10:37 荣锋亮 阅读(95) 评论(0) 推荐(0)

hilla 源码学习简单说明

摘要: 如果只是看hilla 项目源码就会发现缺少不少东西,实际上部分还是在flow 代码仓库中,从目前看到的情况hilla 主要是关于插件处理部分的,关于框架集成部分的还需要通过flow 项目代码学习 参考资料 https://github.com/vaadin/hillahttps://vaadin.c 阅读全文

posted @ 2022-03-13 00:36 荣锋亮 阅读(73) 评论(0) 推荐(0)

hilla maven 插件实现简单说明

摘要: hilla maven 插件的处理是利用了openapi-> typescript 的模式处理,对于openapi的生成使用了类扫描 maven 插件部分就是包装了openapi 处理 同时基于npm 生成部分类型代码 参考处理代码 packages/java/maven-plugin/src/ma 阅读全文

posted @ 2022-03-13 00:20 荣锋亮 阅读(57) 评论(0) 推荐(0)

2022年3月12日

hilla 项目诞生的原因

摘要: 实际上hilla是从fusion 项目名称变更来的,以下参考链接有说明,内容来自官方文档,还是值得参考学习的 说明 还是比较赞同vaadin 团队的说明的,企业的业务越来越复杂,微服务等一些技术也造成web 开发越来越复杂,现在的web 框架是越来越多了,而且从性能上以及生态是都是不错,但是框架就是 阅读全文

posted @ 2022-03-12 18:53 荣锋亮 阅读(114) 评论(0) 推荐(0)

hilla 项目基本结构

摘要: 前边有介绍过hilla 是有些是基于约定的,同时项目运行也是类似的 参考项目结构 frontend 主要包含了前端项目代码,当然基于spring boot 提供后端服务通信生成的代码也是在这里的src 主要是后端代码,当然hilla 基于约定同时也提供了一些静态资源放里边几个而外的文件pom.xml 阅读全文

posted @ 2022-03-12 18:33 荣锋亮 阅读(159) 评论(0) 推荐(0)

上一页 1 ··· 43 44 45 46 47 48 49 50 51 ··· 133 下一页

导航