上一页 1 ··· 43 44 45 46 47 48 49 50 51 ··· 133 下一页

2022年4月2日

基于nginx 的 yum 私服提供

摘要： 实际上主要是使用了nginx 进行静态资源的提供，核心还是基于rpm 的功能处理的 处理流程 yum repo 是基于容器构建处理的 生成repo元数据 docker run -it -v $PWD/packages:/opt/packages rpmbuild/centos7 sh sudo -i 阅读全文

posted @ 2022-04-02 23:32 荣锋亮 阅读(92) 评论(0) 推荐(0)

2022年4月1日

apm + tracing 一些开源工具参考资料

摘要： 内容来自signoz官方博客，可以参考 参考资料 https://signoz.io/blog/distributed-tracing-tools/https://signoz.io/blog/observability-tools/https://signoz.io/blog/apm-tools/ 阅读全文

posted @ 2022-04-01 23:45 荣锋亮 阅读(121) 评论(0) 推荐(0)

signoz reader 接口定义

摘要： reader 属于signoz的核心，提供了数据的查询处理（包含service，metrics，trace。。。） 参考定义 pkg/query-service/app/interface.go type Reader interface { GetChannel(id string) (*mode 阅读全文

posted @ 2022-04-01 23:13 荣锋亮 阅读(153) 评论(0) 推荐(0)

signoz 参考架构设计

摘要： 参考图 从下图可以看出signoz 主要包含的组件collector 使用了社区的，数据存储基于clickhouse ，对于prometheus 的writer 使用了 query service 处理部分 prometheus 集成 参考图直接嵌入了prometheus，使用了prometheus 阅读全文

posted @ 2022-04-01 22:00 荣锋亮 阅读(1150) 评论(0) 推荐(0)

2022年3月31日

mimir grafana 部署模式

摘要： mimir grafana 支持多种部署模式，all-in-one 以及微服务模式，all-in-one 是最简单而且高效的模式 mimir 写处理 读处理 单体模式 包含的命令-target=all 读写分离模式（扩容） 微服务模式 通过-target= 指定服务组件 参考资料 https://g 阅读全文

posted @ 2022-03-31 23:38 荣锋亮 阅读(465) 评论(0) 推荐(0)

部署时创建minio bucket 的方法

摘要： 参考玩法 如果我们在minio 启动的数据目录中直接创建文件夹，就会直接暴露为s3 bucket，比较适合的场景是系统部署的时候 需要依赖一个s3 bucket，我们可以直接先创建好 docker-compose 运行 docker-compose 文件 version: '3' services: 阅读全文

posted @ 2022-03-31 23:05 荣锋亮 阅读(2570) 评论(0) 推荐(0)

mimir grafana 时序存储参考试用

摘要： 参考示例demo图 运行 git clone https://github.com/grafana/mimir.git cd mimir cd docs/sources/tutorials/play-with-grafana-mimir/ docker-compose up 参考配置 prometh 阅读全文

posted @ 2022-03-31 21:48 荣锋亮 阅读(659) 评论(0) 推荐(0)

mimir grafana 团队开源的时序数据存储服务

摘要： mimir 是grafana团队在Cortex基础之上新的时序存储引擎，底层基于对象存储就可以解决了 特性 100% prometheus 兼容 基于复制的高可用 基于对象存储的长时存储 基于分片以及水平扩展的强大查询性能 多租户支持以及数据隔离（同时支持租户联邦） 水平扩展的集群架构 支持metr 阅读全文

posted @ 2022-03-31 20:50 荣锋亮 阅读(531) 评论(0) 推荐(0)

signoz 开源apm 工具试用

摘要： signoz 官方提供了demo ，我们基于docker 也可以快速的体验服务 参考架构 signoz 的架构还是比较简单的，利用了社区的标准（OpenTelemetry），同时集成了metrics 以及trace，类似的grafan tempo 也是一个全家桶的东西使用也比较简单 运行 注意对于d 阅读全文

posted @ 2022-03-31 20:49 荣锋亮 阅读(1764) 评论(0) 推荐(0)

2022年3月30日

temporal 开源微服务编排引擎

摘要： temporal 来自与uber的Cadence，使用上与Cadence 类似，但是功能是相对更加强大，目前已经有不少的企业已经在使用此工具做为系统的调度处理，同时提供了java，golang，php，ts 的sdk 说明 对于微服务的编排调度，目前还是一个比较广的领域，微服务不是银弹，代码的问题也 阅读全文

posted @ 2022-03-30 21:36 荣锋亮 阅读(2049) 评论(0) 推荐(0)

ShedLock 分布式锁服务

摘要： ShedLock 实际上是一个java 的包，我们基于次可以实现灵活的锁服务（比较适合调度任务），功能还是比较强大的，而且比较简单支持的数据库以及类似中间存储还是比较多的，而且提供了灵活的扩展点（多种java 框架也是支持的） 参考资料 https://github.com/lukas-krecan 阅读全文

posted @ 2022-03-30 21:35 荣锋亮 阅读(99) 评论(0) 推荐(0)

2022年3月29日

openresty ngx_http_upstream_check_module 模块安装

摘要： 实际上测试了tengine以及其他的ngx_http_upstream_check_module发现都不好使，反而发现ngx_healthcheck_module 值得使用 构建 基于docker，复用了openresty 官方的dockerfile 构建模式，核心流程如下 clone ngx_he 阅读全文

posted @ 2022-03-29 00:09 荣锋亮 阅读(843) 评论(0) 推荐(0)

2022年3月27日

coolify heroku & netlify 可选开源方案

摘要： coolify heroku & netlify 可选开源方案，基于js 开发，才功能上还是很不错的，使用了不少开源技术，值得学习下（比如关于haproxydataplaneapi 集成的） 支持的特性 参考资料 https://github.com/coollabsio/coolify 阅读全文

posted @ 2022-03-27 23:50 荣锋亮 阅读(169) 评论(0) 推荐(0)

supertokens autho firebase auth aws cognito 开源替换方案

摘要： supertokens autho firebase auth aws cognito 开源替换方案 自托管参考架构 从架构可以看出具体如何使用 用户登录流程 用户登出流程 参考资料 https://github.com/supertokens/supertokens-corehttps://sup 阅读全文

posted @ 2022-03-27 23:18 荣锋亮 阅读(154) 评论(0) 推荐(0)

minio 系统自动纠删码处理算法简单说明

摘要： 内容来自web的计算使用，可能会有不一致的地方，建议参考官方文档（理论上server 端以及web 端应该是一致的） 参考处理 主要是以下js 处理的 https://min.io/static/js/min-72976390afcf/page/erasure-code-calculator.js 阅读全文

posted @ 2022-03-27 20:44 荣锋亮 阅读(793) 评论(0) 推荐(0)

2022年3月26日

minio 4*4 集群 故障测试

摘要： 因为一个minio有点集群故障（文件写入异常），所以基于官方的理论测试下集群容错性 一个计算规则 4*4 模式的，默认使用的纠删码条纹为16 （官方的模式是取最大，但是计算页面可以调整，对于minio来说这个是自动的）,按照套路应该是可以一个server 以及4个盘异常的，不应该出现一个节点异常造成 阅读全文

posted @ 2022-03-26 19:54 荣锋亮 阅读(1201) 评论(0) 推荐(0)

nocodb minio 集成试用

摘要： nocodb 包含了app store 可以方便进行外部集成，以下测试下关于minio s3的集成 实际上minio的集成属于存储扩展的集成（比如附件之类的存储,主要表单以及table 设计中的存储需要） 环境准备 docker-compose 文件 version: '3' services: m 阅读全文

posted @ 2022-03-26 18:20 荣锋亮 阅读(1331) 评论(0) 推荐(0)

nocodb 核心入口依赖

摘要： 主要介绍下后端服务的依赖 参考图 基于webstorm 生成的，基于此图我们学习nocodb 源码也就比较清晰了 说明 nocodb 是支持一种插件化的架构（直接内置的）参考图如下，从接口定义以及内置开发上还是比较清晰的，具体插件是在NcMetaMgr 中使用的以上只是一个简单的说明，从整体上介绍下 阅读全文

posted @ 2022-03-26 17:53 荣锋亮 阅读(645) 评论(0) 推荐(0)

minio 纠删码测试

摘要： 官方提供了一个纠删码以及存储空间计算的，比价有参考价值,方便我们了解部署的系统服务可用性情况 参考使用 以下是4节点，4 driver 的情况，基于此可以了解系统容错情况 参考资料 https://min.io/product/erasure-code-calculator 阅读全文

posted @ 2022-03-26 13:42 荣锋亮 阅读(237) 评论(0) 推荐(0)

2022年3月25日

nocodb 参考架构

摘要： 内容来自官方文档，主要是一个整体的了解nocodb的内部机制以及源码体系 参考图 支持的项目类型 包含了内部，外部以及基于excel 的，内部以及excel数据是存储在nc_db 中，外部数据存储在外部系统中，nocodb 对于数据的存储包含了元数据以及数据 存储 nocodb 项目结构 详细的可以 阅读全文

posted @ 2022-03-25 12:36 荣锋亮 阅读(1040) 评论(0) 推荐(0)

nocodb Airtable 可选开源工具

摘要： nocodb Airtable 可选开源工具，可以将pg、mysql、sql server 转为实施rest api 然后可以基于web 表格进行操作 运行 基于docker，快速运行 docker run -d --name nocodb -p 8080:8080 nocodb/nocodb:la 阅读全文

posted @ 2022-03-25 12:25 荣锋亮 阅读(506) 评论(0) 推荐(0)

2022年3月23日

pf4j spring 插件配置处理

摘要： pf4j spring 提供的spring 能力有点弱，但是我们可以自己扩展实现spring 插件类似spring boot 的配置处理能力 问题 比如我们需要实现如下的配置，自定转换，但是因为默认的spring 项目是不直接支持此特性的 @Configuration @PropertySource 阅读全文

posted @ 2022-03-23 13:25 荣锋亮 阅读(615) 评论(0) 推荐(0)

odbc 架构

摘要： odbc 是微软提供的标准数据访问机制，同时社区也包含了支持linux 以及mac 的实现 参考图 下图的mysql 可以是任何的支持的数据源 参考说明 driver manager 是一个通用的driver 管理，类似jdbc 的driver 支持注册一样，目前包含了微软的以及unixodbc等实 阅读全文

posted @ 2022-03-23 01:04 荣锋亮 阅读(74) 评论(0) 推荐(0)

2022年3月21日

使用odbc 提升cube.js 查询dremio 的性能

摘要： 主要是一个技术说明，后续开发相关的driver 原理 dremio 是支持obdc 访问的，odbc 是比直接的http 访问有更快的性能,而且可以使用更加标准的sql 查询 参考处理 社区已经有了完整的实现node-odbc 我们可以使用来使用 参考demo dremio 的odbc 需要先安装， 阅读全文

posted @ 2022-03-21 23:27 荣锋亮 阅读(120) 评论(0) 推荐(0)

2022年3月20日

lightdash 运行简单说明

摘要： 基于docker-compose 运行环境 docker-compose 文件 version: "3.8" services: lightdash: image: lightdash/lightdash:latest depends_on: - db environment: - PGHOST=$ 阅读全文

posted @ 2022-03-20 23:49 荣锋亮 阅读(266) 评论(0) 推荐(0)

lightdash 对于数据访问的处理

摘要： 我们在 Lightdash 的使命是：让您公司中的每个人都能使用数据回答他们自己的问题。 Lightdash 是数据团队（👷‍♀️ 建设者）和其他业务部门（👩‍🌾 消费者）聚集在一起以做出更好的数据驱动决策的地方。对于数据构建者和数据消费者之间的这种关系应该如何运作，我们有一些非常强烈的意见。 阅读全文

posted @ 2022-03-20 23:29 荣锋亮 阅读(499) 评论(0) 推荐(0)

jitsu 开源Segment 可选工具

摘要： jitsu 开源Segment 可选工具,核心基于golang 开发，100%兼容Segment api 说明 Segment 主要是国外的服务，国内使用的企业可能比较少，jitsu 是一个不错的开源选择，代码也是值得学习研究的 参考资料 https://github.com/jitsucom/ji 阅读全文

posted @ 2022-03-20 22:17 荣锋亮 阅读(201) 评论(0) 推荐(0)

lightdash ProjectAdapter 接口定义

摘要： 主要介绍接口定义，实际的实现后续说明 ProjectAdapter 是一个比较重要的东西，定义了project 以及dbt client ，WarehouseClient 接口定义 export interface ProjectAdapter { compileAllExplores(): Pro 阅读全文

posted @ 2022-03-20 22:06 荣锋亮 阅读(76) 评论(0) 推荐(0)

lightdash 源码简单介绍

摘要： 以下简单介绍下lightdash lightdash 源码结构 代码基于yarn workspace 模式，对于数据库访问为了提升性能基于了odbc（当然也是有其他原因的，比如本来就不能很好使用js驱动的） 核心代码目录都在packages 中 backend // 后端接口项目，比较核心 comm 阅读全文

posted @ 2022-03-20 21:46 荣锋亮 阅读(368) 评论(0) 推荐(0)

2022年3月19日

lightdash基于dbt 构建的looker 可选工具

摘要： 目前基于dbt 开源的东西不少了（dbt的确是数据分析的一个好工具）lightdash 就是基于dbt 开发的一个looker 可选工具基于了ts开发，我们可以基于配置进行dashborad 服务的开发 说明 Metriql 也是一个基于dbt 开发的（此工具是借鉴了dbt的处理，没有直接使用dbt 阅读全文

posted @ 2022-03-19 13:29 荣锋亮 阅读(343) 评论(0) 推荐(0)

2022年3月16日

pip "Directory not empty" while pip installing or updating a package in python3 问题解决

摘要： 解决此问题的方法最直接的方法就是直接强制重新安装包 pip install -r requirements.txt --ignore-installed 参考资料 https://blog.51cto.com/wutengfei/2161960 阅读全文

posted @ 2022-03-16 20:52 荣锋亮 阅读(81) 评论(0) 推荐(0)

nginx 使用mime.types 解决mac safari excel xls 下载格式为xls.xlw 问题

摘要： 这个问题属于mac safari的问题，解决方法很简单，就是自定义mime.types 对于xls 解析为application/octet-stream 就可以了 参考配置 mime.types types { text/html html htm shtml; text/css css; tex 阅读全文

posted @ 2022-03-16 00:34 荣锋亮 阅读(1260) 评论(0) 推荐(0)

2022年3月13日

dremio 的Spillservice 简单说明

摘要： Spillservice 的场景主要是处理sort ，hash agg 等一些操作，在需要使用本地文件cache的时候 类图 使用Spillservice 服务的模块 主要包含了SpillManager，IncomingBuffers，FragmentExecutor，OperatorContext 阅读全文

posted @ 2022-03-13 23:49 荣锋亮 阅读(100) 评论(0) 推荐(0)

spring boot 基于jackson 多态数据类型处理简化rest api 开发

摘要： 开发好可扩展的rest api 是一门技术，同时开发灵活扩展的rest api 也是比较费事的，很多时候 我们为了业务开发了特别多的rest api，造成系统的维护以及使用都很复杂，graphql 是一种不错的 解决方法（同时业界也有类似通用查询处理）,以下是一个简单的基于jackson 多态数据处 阅读全文

posted @ 2022-03-13 20:53 荣锋亮 阅读(407) 评论(0) 推荐(0)

基于jackson 多态数据类型处理rest api 业务

摘要： jackson 支持多态数据类型处理，基于此特性我们可以实现灵活强大的类型处理，业务规则处理 同时基于此可以实现动态插件化的业务处理 参考使用 抽象类型定义 MyUser package com.dalong; import com.fasterxml.jackson.annotation.Json 阅读全文

posted @ 2022-03-13 11:08 荣锋亮 阅读(170) 评论(0) 推荐(0)

hilla maven 插件原理简单说明

摘要： hilla maven 插件的源码是分散在不同的代码库中，hilla 中包含一部分，flow 也包含一部分 插件参考使用 参考使用 <plugin> <groupId>dev.hilla</groupId> <artifactId>hilla-maven-plugin</artifactId> <v 阅读全文

posted @ 2022-03-13 10:37 荣锋亮 阅读(95) 评论(0) 推荐(0)

hilla 源码学习简单说明

摘要： 如果只是看hilla 项目源码就会发现缺少不少东西，实际上部分还是在flow 代码仓库中，从目前看到的情况hilla 主要是关于插件处理部分的，关于框架集成部分的还需要通过flow 项目代码学习 参考资料 https://github.com/vaadin/hillahttps://vaadin.c 阅读全文

posted @ 2022-03-13 00:36 荣锋亮 阅读(73) 评论(0) 推荐(0)

hilla maven 插件实现简单说明

摘要： hilla maven 插件的处理是利用了openapi-> typescript 的模式处理，对于openapi的生成使用了类扫描 maven 插件部分就是包装了openapi 处理 同时基于npm 生成部分类型代码 参考处理代码 packages/java/maven-plugin/src/ma 阅读全文

posted @ 2022-03-13 00:20 荣锋亮 阅读(57) 评论(0) 推荐(0)

2022年3月12日

hilla 项目诞生的原因

摘要： 实际上hilla是从fusion 项目名称变更来的，以下参考链接有说明，内容来自官方文档，还是值得参考学习的 说明 还是比较赞同vaadin 团队的说明的，企业的业务越来越复杂，微服务等一些技术也造成web 开发越来越复杂，现在的web 框架是越来越多了，而且从性能上以及生态是都是不错，但是框架就是 阅读全文

posted @ 2022-03-12 18:53 荣锋亮 阅读(114) 评论(0) 推荐(0)

hilla 项目基本结构

摘要： 前边有介绍过hilla 是有些是基于约定的，同时项目运行也是类似的 参考项目结构 frontend 主要包含了前端项目代码，当然基于spring boot 提供后端服务通信生成的代码也是在这里的src 主要是后端代码，当然hilla 基于约定同时也提供了一些静态资源放里边几个而外的文件pom.xml 阅读全文

posted @ 2022-03-12 18:33 荣锋亮 阅读(159) 评论(0) 推荐(0)

上一页 1 ··· 43 44 45 46 47 48 49 50 51 ··· 133 下一页

导航