荣锋亮 - 博客园

通过火焰图学习nginx upstream 模块的处理

摘要：以下几个图是关于upstream 调用链的参考环境准备基于了flamescope 结合perf 文件可以方便的学习 flamescope 准备 version: "3" services: flamescope: image: dalongrong/flamescope ports: - "50 阅读全文

posted @ 2022-04-05 11:42 荣锋亮阅读(83) 评论(0) 推荐(0)

nginx 火焰图分析

摘要：主要是简单的学习，基于了openresty 开启了debug，同时保留构建的符号表信息构建命令只包含核心部分，其他的具体参考gihtub --with-debug \ --with-cc-opt='-O0 -g' \ 容器集成使用 nginx 配置使用了单进程模式 worker_processe 阅读全文

posted @ 2022-04-04 23:02 荣锋亮阅读(367) 评论(0) 推荐(0)

openresty rpm 构建

摘要：预备 perl-Test-Simple.spec 问题 1.302175版本不存在，可以调整为1.302190,可以按需调整依赖问题需要依赖zlib，pcre，openssl，等rpm包，需要先构建zib 然后是openssl,然后是pcre，同时构建好之后还需要先安装，然后就能继续构建了说明阅读全文

posted @ 2022-04-02 23:54 荣锋亮阅读(399) 评论(0) 推荐(0)

基于nginx 的 yum 私服提供

摘要：实际上主要是使用了nginx 进行静态资源的提供，核心还是基于rpm 的功能处理的处理流程 yum repo 是基于容器构建处理的生成repo元数据 docker run -it -v $PWD/packages:/opt/packages rpmbuild/centos7 sh sudo -i 阅读全文

posted @ 2022-04-02 23:32 荣锋亮阅读(101) 评论(0) 推荐(0)

apm + tracing 一些开源工具参考资料

摘要：内容来自signoz官方博客，可以参考参考资料 https://signoz.io/blog/distributed-tracing-tools/https://signoz.io/blog/observability-tools/https://signoz.io/blog/apm-tools/ 阅读全文

posted @ 2022-04-01 23:45 荣锋亮阅读(124) 评论(0) 推荐(0)

signoz reader 接口定义

摘要： reader 属于signoz的核心，提供了数据的查询处理（包含service，metrics，trace。。。）参考定义 pkg/query-service/app/interface.go type Reader interface { GetChannel(id string) (*mode 阅读全文

posted @ 2022-04-01 23:13 荣锋亮阅读(164) 评论(0) 推荐(0)

signoz 参考架构设计

摘要：参考图从下图可以看出signoz 主要包含的组件collector 使用了社区的，数据存储基于clickhouse ，对于prometheus 的writer 使用了 query service 处理部分 prometheus 集成参考图直接嵌入了prometheus，使用了prometheus 阅读全文

posted @ 2022-04-01 22:00 荣锋亮阅读(1176) 评论(0) 推荐(0)

mimir grafana 部署模式

摘要： mimir grafana 支持多种部署模式，all-in-one 以及微服务模式，all-in-one 是最简单而且高效的模式 mimir 写处理读处理单体模式包含的命令-target=all 读写分离模式（扩容）微服务模式通过-target= 指定服务组件参考资料 https://g 阅读全文

posted @ 2022-03-31 23:38 荣锋亮阅读(476) 评论(0) 推荐(0)

部署时创建minio bucket 的方法

摘要：参考玩法如果我们在minio 启动的数据目录中直接创建文件夹，就会直接暴露为s3 bucket，比较适合的场景是系统部署的时候需要依赖一个s3 bucket，我们可以直接先创建好 docker-compose 运行 docker-compose 文件 version: '3' services: 阅读全文

posted @ 2022-03-31 23:05 荣锋亮阅读(2584) 评论(0) 推荐(0)

mimir grafana 时序存储参考试用

摘要：参考示例demo图运行 git clone https://github.com/grafana/mimir.git cd mimir cd docs/sources/tutorials/play-with-grafana-mimir/ docker-compose up 参考配置 prometh 阅读全文

posted @ 2022-03-31 21:48 荣锋亮阅读(678) 评论(0) 推荐(0)

mimir grafana 团队开源的时序数据存储服务

摘要： mimir 是grafana团队在Cortex基础之上新的时序存储引擎，底层基于对象存储就可以解决了特性 100% prometheus 兼容基于复制的高可用基于对象存储的长时存储基于分片以及水平扩展的强大查询性能多租户支持以及数据隔离（同时支持租户联邦）水平扩展的集群架构支持metr 阅读全文

posted @ 2022-03-31 20:50 荣锋亮阅读(548) 评论(0) 推荐(0)

signoz 开源apm 工具试用

摘要： signoz 官方提供了demo ，我们基于docker 也可以快速的体验服务参考架构 signoz 的架构还是比较简单的，利用了社区的标准（OpenTelemetry），同时集成了metrics 以及trace，类似的grafan tempo 也是一个全家桶的东西使用也比较简单运行注意对于d 阅读全文

posted @ 2022-03-31 20:49 荣锋亮阅读(1804) 评论(0) 推荐(0)

temporal 开源微服务编排引擎

摘要： temporal 来自与uber的Cadence，使用上与Cadence 类似，但是功能是相对更加强大，目前已经有不少的企业已经在使用此工具做为系统的调度处理，同时提供了java，golang，php，ts 的sdk 说明对于微服务的编排调度，目前还是一个比较广的领域，微服务不是银弹，代码的问题也阅读全文

posted @ 2022-03-30 21:36 荣锋亮阅读(2090) 评论(0) 推荐(0)

ShedLock 分布式锁服务

摘要： ShedLock 实际上是一个java 的包，我们基于次可以实现灵活的锁服务（比较适合调度任务），功能还是比较强大的，而且比较简单支持的数据库以及类似中间存储还是比较多的，而且提供了灵活的扩展点（多种java 框架也是支持的）参考资料 https://github.com/lukas-krecan 阅读全文

posted @ 2022-03-30 21:35 荣锋亮阅读(107) 评论(0) 推荐(0)

openresty ngx_http_upstream_check_module 模块安装

摘要：实际上测试了tengine以及其他的ngx_http_upstream_check_module发现都不好使，反而发现ngx_healthcheck_module 值得使用构建基于docker，复用了openresty 官方的dockerfile 构建模式，核心流程如下 clone ngx_he 阅读全文

posted @ 2022-03-29 00:09 荣锋亮阅读(897) 评论(0) 推荐(0)

coolify heroku & netlify 可选开源方案

摘要： coolify heroku & netlify 可选开源方案，基于js 开发，才功能上还是很不错的，使用了不少开源技术，值得学习下（比如关于haproxydataplaneapi 集成的）支持的特性参考资料 https://github.com/coollabsio/coolify 阅读全文

posted @ 2022-03-27 23:50 荣锋亮阅读(177) 评论(0) 推荐(0)

supertokens autho firebase auth aws cognito 开源替换方案

摘要： supertokens autho firebase auth aws cognito 开源替换方案自托管参考架构从架构可以看出具体如何使用用户登录流程用户登出流程参考资料 https://github.com/supertokens/supertokens-corehttps://sup 阅读全文

posted @ 2022-03-27 23:18 荣锋亮阅读(164) 评论(0) 推荐(0)

minio 系统自动纠删码处理算法简单说明

摘要：内容来自web的计算使用，可能会有不一致的地方，建议参考官方文档（理论上server 端以及web 端应该是一致的）参考处理主要是以下js 处理的 https://min.io/static/js/min-72976390afcf/page/erasure-code-calculator.js 阅读全文

posted @ 2022-03-27 20:44 荣锋亮阅读(820) 评论(0) 推荐(0)

minio 4*4 集群故障测试

摘要：因为一个minio有点集群故障（文件写入异常），所以基于官方的理论测试下集群容错性一个计算规则 4*4 模式的，默认使用的纠删码条纹为16 （官方的模式是取最大，但是计算页面可以调整，对于minio来说这个是自动的）,按照套路应该是可以一个server 以及4个盘异常的，不应该出现一个节点异常造成阅读全文

posted @ 2022-03-26 19:54 荣锋亮阅读(1219) 评论(0) 推荐(0)

nocodb minio 集成试用

摘要： nocodb 包含了app store 可以方便进行外部集成，以下测试下关于minio s3的集成实际上minio的集成属于存储扩展的集成（比如附件之类的存储,主要表单以及table 设计中的存储需要）环境准备 docker-compose 文件 version: '3' services: m 阅读全文

posted @ 2022-03-26 18:20 荣锋亮阅读(1360) 评论(0) 推荐(0)

nocodb 核心入口依赖

摘要：主要介绍下后端服务的依赖参考图基于webstorm 生成的，基于此图我们学习nocodb 源码也就比较清晰了说明 nocodb 是支持一种插件化的架构（直接内置的）参考图如下，从接口定义以及内置开发上还是比较清晰的，具体插件是在NcMetaMgr 中使用的以上只是一个简单的说明，从整体上介绍下阅读全文

posted @ 2022-03-26 17:53 荣锋亮阅读(655) 评论(0) 推荐(0)

minio 纠删码测试

摘要：官方提供了一个纠删码以及存储空间计算的，比价有参考价值,方便我们了解部署的系统服务可用性情况参考使用以下是4节点，4 driver 的情况，基于此可以了解系统容错情况参考资料 https://min.io/product/erasure-code-calculator 阅读全文

posted @ 2022-03-26 13:42 荣锋亮阅读(246) 评论(0) 推荐(0)

nocodb 参考架构

摘要：内容来自官方文档，主要是一个整体的了解nocodb的内部机制以及源码体系参考图支持的项目类型包含了内部，外部以及基于excel 的，内部以及excel数据是存储在nc_db 中，外部数据存储在外部系统中，nocodb 对于数据的存储包含了元数据以及数据存储 nocodb 项目结构详细的可以阅读全文

posted @ 2022-03-25 12:36 荣锋亮阅读(1068) 评论(0) 推荐(0)

nocodb Airtable 可选开源工具

摘要： nocodb Airtable 可选开源工具，可以将pg、mysql、sql server 转为实施rest api 然后可以基于web 表格进行操作运行基于docker，快速运行 docker run -d --name nocodb -p 8080:8080 nocodb/nocodb:la 阅读全文

posted @ 2022-03-25 12:25 荣锋亮阅读(525) 评论(0) 推荐(0)

pf4j spring 插件配置处理

摘要： pf4j spring 提供的spring 能力有点弱，但是我们可以自己扩展实现spring 插件类似spring boot 的配置处理能力问题比如我们需要实现如下的配置，自定转换，但是因为默认的spring 项目是不直接支持此特性的 @Configuration @PropertySource 阅读全文

posted @ 2022-03-23 13:25 荣锋亮阅读(645) 评论(0) 推荐(0)

odbc 架构

摘要： odbc 是微软提供的标准数据访问机制，同时社区也包含了支持linux 以及mac 的实现参考图下图的mysql 可以是任何的支持的数据源参考说明 driver manager 是一个通用的driver 管理，类似jdbc 的driver 支持注册一样，目前包含了微软的以及unixodbc等实阅读全文

posted @ 2022-03-23 01:04 荣锋亮阅读(80) 评论(0) 推荐(0)

使用odbc 提升cube.js 查询dremio 的性能

摘要：主要是一个技术说明，后续开发相关的driver 原理 dremio 是支持obdc 访问的，odbc 是比直接的http 访问有更快的性能,而且可以使用更加标准的sql 查询参考处理社区已经有了完整的实现node-odbc 我们可以使用来使用参考demo dremio 的odbc 需要先安装，阅读全文

posted @ 2022-03-21 23:27 荣锋亮阅读(127) 评论(0) 推荐(0)

lightdash 运行简单说明

摘要：基于docker-compose 运行环境 docker-compose 文件 version: "3.8" services: lightdash: image: lightdash/lightdash:latest depends_on: - db environment: - PGHOST=$ 阅读全文

posted @ 2022-03-20 23:49 荣锋亮阅读(284) 评论(0) 推荐(0)

lightdash 对于数据访问的处理

摘要：我们在 Lightdash 的使命是：让您公司中的每个人都能使用数据回答他们自己的问题。 Lightdash 是数据团队（👷‍♀️ 建设者）和其他业务部门（👩‍🌾 消费者）聚集在一起以做出更好的数据驱动决策的地方。对于数据构建者和数据消费者之间的这种关系应该如何运作，我们有一些非常强烈的意见。阅读全文

posted @ 2022-03-20 23:29 荣锋亮阅读(513) 评论(0) 推荐(0)

jitsu 开源Segment 可选工具

摘要： jitsu 开源Segment 可选工具,核心基于golang 开发，100%兼容Segment api 说明 Segment 主要是国外的服务，国内使用的企业可能比较少，jitsu 是一个不错的开源选择，代码也是值得学习研究的参考资料 https://github.com/jitsucom/ji 阅读全文

posted @ 2022-03-20 22:17 荣锋亮阅读(205) 评论(0) 推荐(0)

lightdash ProjectAdapter 接口定义

摘要：主要介绍接口定义，实际的实现后续说明 ProjectAdapter 是一个比较重要的东西，定义了project 以及dbt client ，WarehouseClient 接口定义 export interface ProjectAdapter { compileAllExplores(): Pro 阅读全文

posted @ 2022-03-20 22:06 荣锋亮阅读(93) 评论(0) 推荐(0)

lightdash 源码简单介绍

摘要：以下简单介绍下lightdash lightdash 源码结构代码基于yarn workspace 模式，对于数据库访问为了提升性能基于了odbc（当然也是有其他原因的，比如本来就不能很好使用js驱动的）核心代码目录都在packages 中 backend // 后端接口项目，比较核心 comm 阅读全文

posted @ 2022-03-20 21:46 荣锋亮阅读(384) 评论(0) 推荐(0)

lightdash基于dbt 构建的looker 可选工具

摘要：目前基于dbt 开源的东西不少了（dbt的确是数据分析的一个好工具）lightdash 就是基于dbt 开发的一个looker 可选工具基于了ts开发，我们可以基于配置进行dashborad 服务的开发说明 Metriql 也是一个基于dbt 开发的（此工具是借鉴了dbt的处理，没有直接使用dbt 阅读全文

posted @ 2022-03-19 13:29 荣锋亮阅读(358) 评论(0) 推荐(0)

pip "Directory not empty" while pip installing or updating a package in python3 问题解决

摘要：解决此问题的方法最直接的方法就是直接强制重新安装包 pip install -r requirements.txt --ignore-installed 参考资料 https://blog.51cto.com/wutengfei/2161960 阅读全文

posted @ 2022-03-16 20:52 荣锋亮阅读(84) 评论(0) 推荐(0)

nginx 使用mime.types 解决mac safari excel xls 下载格式为xls.xlw 问题

摘要：这个问题属于mac safari的问题，解决方法很简单，就是自定义mime.types 对于xls 解析为application/octet-stream 就可以了参考配置 mime.types types { text/html html htm shtml; text/css css; tex 阅读全文

posted @ 2022-03-16 00:34 荣锋亮阅读(1279) 评论(0) 推荐(0)

dremio 的Spillservice 简单说明

摘要： Spillservice 的场景主要是处理sort ，hash agg 等一些操作，在需要使用本地文件cache的时候类图使用Spillservice 服务的模块主要包含了SpillManager，IncomingBuffers，FragmentExecutor，OperatorContext 阅读全文

posted @ 2022-03-13 23:49 荣锋亮阅读(111) 评论(0) 推荐(0)

spring boot 基于jackson 多态数据类型处理简化rest api 开发

摘要：开发好可扩展的rest api 是一门技术，同时开发灵活扩展的rest api 也是比较费事的，很多时候我们为了业务开发了特别多的rest api，造成系统的维护以及使用都很复杂，graphql 是一种不错的解决方法（同时业界也有类似通用查询处理）,以下是一个简单的基于jackson 多态数据处阅读全文

posted @ 2022-03-13 20:53 荣锋亮阅读(425) 评论(0) 推荐(0)

基于jackson 多态数据类型处理rest api 业务

摘要： jackson 支持多态数据类型处理，基于此特性我们可以实现灵活强大的类型处理，业务规则处理同时基于此可以实现动态插件化的业务处理参考使用抽象类型定义 MyUser package com.dalong; import com.fasterxml.jackson.annotation.Json 阅读全文

posted @ 2022-03-13 11:08 荣锋亮阅读(183) 评论(0) 推荐(0)

hilla maven 插件原理简单说明

摘要： hilla maven 插件的源码是分散在不同的代码库中，hilla 中包含一部分，flow 也包含一部分插件参考使用参考使用 <plugin> <groupId>dev.hilla</groupId> <artifactId>hilla-maven-plugin</artifactId> <v 阅读全文

posted @ 2022-03-13 10:37 荣锋亮阅读(110) 评论(0) 推荐(0)

hilla 源码学习简单说明

摘要：如果只是看hilla 项目源码就会发现缺少不少东西，实际上部分还是在flow 代码仓库中，从目前看到的情况hilla 主要是关于插件处理部分的，关于框架集成部分的还需要通过flow 项目代码学习参考资料 https://github.com/vaadin/hillahttps://vaadin.c 阅读全文

posted @ 2022-03-13 00:36 荣锋亮阅读(83) 评论(0) 推荐(0)

导航

公告