cosmopolitan 跨平台的c 库
摘要：
cosmopolitan 是一个c 库，实现了构建一次，多次运行，在简单看了介绍之后还是很不错的，对于需要尝试狂平台运行的值得尝试下而且github 上还是很活跃的 参考资料 https://github.com/jart/cosmopolitan 阅读全文
posted @ 2023-01-07 22:49 荣锋亮 阅读(297) 评论(0) 推荐(0)
score 开源工作负载指南
摘要：
score 是基于容器的，开源，平台无关的，工作负载指南，基于一套命令可以解决k8s。docker-compose 等各种环境的问题 说明 score 是一个很不错的工具，我们以前包含了terraform，或者基于jsonnet 的管理，score 使用起来也是很简洁的，而且可以自己进行扩展，还是值 阅读全文
posted @ 2023-01-07 22:41 荣锋亮 阅读(44) 评论(0) 推荐(0)
neon serverless postgres 服务
摘要：
neon 是开源的基于rust 开发的serverless postgres 服务 支持的特性 计算存储隔离 分支 无限存储 自动缩放 架构 包含pageserver，计算节点的处理 safekeepers，进行wal 服务的管理 参考图可以看出数据在对象存储中 参考资料 https://githu 阅读全文
posted @ 2023-01-07 22:35 荣锋亮 阅读(309) 评论(0) 推荐(0)
dremio 系统内部存储插件与自定义存储插件加载的区别
摘要：
dremio 整体包含了两大类存储扩展，系统内部使用的，以及用户开发的， 整体区别 系统的目前是在dremio 自己启动的时候就会注册以及使用的，比如加速反射的，home，元数据存储插件 用户自己开发的主要是通过web ui 或者api 初始化以及维护的 用户以及系统存储配置的可配置性不一样，系统不 阅读全文
posted @ 2023-01-06 21:06 荣锋亮 阅读(59) 评论(0) 推荐(0)
类似git 的数据版本管理工具
摘要：
git 是一个很不错的svc 系统，当前基于git 的玩法是越来越多了，比如gitops，基于git 的数据管理也是包含了不少的开源实现 基于git 玩法的好处 版本化，可以实现特定版本的只读活着灵活管理，有些系统是支持不可变模式的，可以防止数据被随意修改 可管理化，可以实现数据即代码，数据不在是杂 阅读全文
posted @ 2023-01-06 17:27 荣锋亮 阅读(544) 评论(0) 推荐(0)
minio+avc+rclone 集成试用
摘要：
avc 可以试用类似git 的模式管理数据支持版本以及变动，tag，以下是一个简单的集成试用 环境准备 安装avc+rclone 工具 可以通过官方下载使用 docker-compose version: '3' services: minio: image: minio/minio ports: 阅读全文
posted @ 2023-01-06 11:34 荣锋亮 阅读(116) 评论(0) 推荐(0)
jmxterm 基于jmx 的开源cli 工具
摘要：
实际上就是一个类似jconsole 的可选工具，还是很不错的，使用简单，比如适合在linux 以及对于容器环境 参考使用 下载 直接通过官方地址就可以了 运行 说明 apache kafka 官方包含了一个值得学习的文档，值得看看 参考资料 https://docs.cyclopsgroup.org 阅读全文
posted @ 2023-01-06 09:44 荣锋亮 阅读(177) 评论(0) 推荐(0)
gdb 几个不错的gui 工具
摘要：
使用gdb 我们可以方便的进行软件调整，以下是几个不错的gui 工具，可以方便调试，共享 gdb-frontend ui 还是很不错的，同时包含了一个web 体验的，值得看看 gdbgui 这个支持的比较多了，包含了c，c++，golang，rust，fortran。。。。。 参考资料 https: 阅读全文
posted @ 2023-01-06 09:17 荣锋亮 阅读(308) 评论(0) 推荐(0)
dremio PrivilegeCatalog 接口简单说明
摘要：
PrivilegeCatalog 实际是一个权限检查的能力,同时dremio 的StoragePlugin 也提供了一个安全check 能力 StoragePlugin安全检查 boolean hasAccessPermission(String user, NamespaceKey key, Da 阅读全文
posted @ 2023-01-05 19:53 荣锋亮 阅读(65) 评论(0) 推荐(0)
dremio SourceCatalog 服务说明
摘要：
SourceCatalog 主要进行source 的管理，包含了获取信息，创建，更新，删除，包含了不同的实现 SourceCatalog 服务定义 /** * Interface to perform actions on sources. */ // PrivilegeCatalog 可以实现权限 阅读全文
posted @ 2023-01-05 13:05 荣锋亮 阅读(48) 评论(0) 推荐(0)
dremio ManagedStoragePlugin 简单说明
摘要：
ManagedStoragePlugin 从字面意思可以看出就是托管存储插件，从目前官方的设计来说就是将 自己开发的存储扩展，包装为dremio 可以管理的插件（统一模型以及统一处理） ManagedStoragePlugin 提供的能力 数据源信息维护，插件会包含一个关联的数据源 元数据策略 数据 阅读全文
posted @ 2023-01-05 13:02 荣锋亮 阅读(45) 评论(0) 推荐(0)
dremio DatasetSaver 服务说明
摘要：
我以前简单写过关于元数据处理的说明（基于jprofiler+arthas 工具）会依赖namespace 服务 实际对于数据的操作都是通过SourceMetadataManager 执行的 DatasetSaver 服务提供的能力 核心提供的能力 主要是包装DatasetSaver 处理元数据的保存 阅读全文
posted @ 2023-01-04 18:33 荣锋亮 阅读(44) 评论(0) 推荐(0)
dremio datastore简单说明
摘要：
datastore 实际上是进行数据存储的实现（主要是配置以及元数据相关的）不少服务都使用到了此功能（namespace,catalog,user,job ） 实际上dremio 官方对于dremio 的部署（软件版，尤其是是社区版）有比较明确的说明，需要zk 以及本地存储（或者nas）对于协调节点 阅读全文
posted @ 2023-01-04 11:51 荣锋亮 阅读(71) 评论(0) 推荐(0)
piperider 开源数据可靠性工具
摘要：
piperider 是基于python 的数据可靠性工具，主持数据的profile ，数据的测试以及数据的可观测性以及监控 核心特性 基于sql，同时支持csv 数据profule 的特性，包含了metrcis以及重复，唯一，缺少。。。 数据测试，基于内置的断言定义 基于运行的profile启动生成 阅读全文
posted @ 2023-01-04 11:50 荣锋亮 阅读(194) 评论(0) 推荐(0)
nginx-clojure 调试简单试用
摘要：
对于nginx-clojure 的调试实际上就是基于jdwp 参考配置 nginx.conf jvm_options "-agentlib:jdwp=transport=dt_socket,address=*:909#{pno},server=y,suspend=n"; 效果 idea 配置 调试效 阅读全文
posted @ 2023-01-03 21:09 荣锋亮 阅读(139) 评论(0) 推荐(0)
dremio 表函数简单说明
摘要：
dremio 对于表函数的处理实际上还是基于了apcahe calcite ，只是对于dremio 来说，使用相对不是很多 目前dremio 比较多的就是外部查询，还有就是关于iceberg 的一些支持函数 参考使用 外部查询 SELECT b.customer_id, a.product_id, 阅读全文
posted @ 2023-01-03 18:32 荣锋亮 阅读(152) 评论(0) 推荐(0)
nginx-clojure java 集成试用
摘要：
主要是基于java 开发一个简单的扩展，学习下流程 java 项目 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:// 阅读全文
posted @ 2023-01-03 11:52 荣锋亮 阅读(89) 评论(0) 推荐(0)
apache drill 提供的physical-operators 以及说明
摘要：
当前支持物理操作 分布式操作 主要是通过网络的，包含以下操作 join 操作 聚合操作 排序以及分页 投影操作 过滤以及相关操作 集合操作 扫描操作 接受操作 发送操作 文件写操作 说明 drill 的一些官方文档对于学习dremio 还是很有用的，了解以上的一些物理操作器，可以更好的学习dremi 阅读全文
posted @ 2023-01-03 11:50 荣锋亮 阅读(36) 评论(0) 推荐(0)
dremio 数据存储结构示例
摘要：
从dremio 运行系统摘录一些存储结构，方便了解dremio 分布式存储（主要以对象存储为主，当然nas 也是可以使用的） 部分，整体结构类似，但是文件夹名称可能会不要一样（反射内部的存储结构是一致的） 主要包含了反射，下载，上传，一致job 执行结果 ├── accelerator │ ├── 阅读全文
posted @ 2023-01-03 11:48 荣锋亮 阅读(85) 评论(0) 推荐(0)
nginx-clojure docker 镜像
摘要：
主要是一个测试，方便学习使用nginx-clojure 强大的能力 dockerfile 直接基于了openjdk:10-slim 基础镜像，同时基于copy 文件的格式处理 FROM openjdk:10-slim WORKDIR /usr/local/nginx COPY nginx-cloju 阅读全文
posted @ 2023-01-02 23:17 荣锋亮 阅读(49) 评论(0) 推荐(0)
dremio NamespaceService 简单说明一
摘要：
此处主要说明社区版dremio namspaceservice 包含的一个能力，我们如果自己扩展下就可以实现简单的部分权限管理 参加定义类图 如下如可以看出namspaceservice 提供的能力 一个额外的能力 接口定义 interface Factory { /** * Return a na 阅读全文
posted @ 2023-01-02 22:18 荣锋亮 阅读(45) 评论(0) 推荐(0)
dremio 的加速文件系统插件简单说明
摘要：
dremio 包含一个强大的功能就是反射加速，dremio 为了对于反射数据的存储开发了自己的文件系统插件 插件类图 parquet 以及iceberg 的支持 从start 入口可以看出包含了不同的处理，实际上dremio 从21 版本开始就默认基于了iceberg 存储了（同时也需要分布式存储） 阅读全文
posted @ 2023-01-02 21:57 荣锋亮 阅读(94) 评论(0) 推荐(0)
dremio ClassPathScanner 简单说明
摘要：
ClassPathScanner 实际上是dremio 基于配置+约定的类扫描处理，为了性能同时使用了开源的reflections 工具包 约定 主要扫描包含以下约定key 的类或者包 /** Configuration pathname to list of names of packages t 阅读全文
posted @ 2023-01-02 21:37 荣锋亮 阅读(42) 评论(0) 推荐(0)
dremio formatPlugin 调用链
摘要：
格式化插件在dremio 中是比较核心的，包含了不少格式化插件，了解格式化插件的执行可以更好的开发自己的扩展以及了解dremio的内部机制 以下是基于arthas 分析的一个调用链可以参考 调用链 stack parquet format plugin stack com.dremio.exec.s 阅读全文
posted @ 2023-01-02 10:08 荣锋亮 阅读(30) 评论(0) 推荐(0)
gluon 基于浏览器+nodejs 的桌面应用开发框架
摘要：
gluon 基于浏览器+nodejs 的桌面应用开发框架，好处是相对轻量，只使用系统浏览器，对于nodejs 可以支持包含以及不包含模式目前支持chrome 以及firfox 浏览器器，打包的应用相对比较小，同时内存使用也比较少 官方对比 说明 tauri 是基于rust 的性能很不错，目前就是不太 阅读全文
posted @ 2023-01-02 09:36 荣锋亮 阅读(1025) 评论(0) 推荐(0)
nginx-clojure nginx clojure & java & groovy 模块
摘要：
nginx-clojure 是一个nginx 扩展模块，让我们可以直接运行 clojure & java & groovy ，还是比较强大的，支持的功能也不少我们可以直接基于jvm 对于nginx 进行扩展了，还是值得尝试的 说明 但是因为jvm 的特殊性（算是比较重），目前看到社区也有一些构建好的 阅读全文
posted @ 2023-01-01 23:34 荣锋亮 阅读(154) 评论(0) 推荐(0)
haproxy 2.7 发布
摘要：
就在最近haproxy 2.7 发布了 支持的新特性 流量整形，新的不少指令，比如filter bwlim-out 以及filter bwlim-in 还包含了response 以及request 的流量处理 支持更大的线程，以前包含了64 线程数的限制 更好的health check 性能 htt 阅读全文
posted @ 2023-01-01 21:15 荣锋亮 阅读(187) 评论(0) 推荐(0)
sccache 基于rust 类似ccache 的编译cache 工具
摘要：
sccache 类似ccache 的编译cache 工具，支持基于本地磁盘，或者云对象存储 特性 基于c/c++ ，rust 编译 支持增量编译 rust 集成使用 可以通过定义build.rustc-wrapper ， 基于配置文件 参考配置$HOME/.cargo/config.toml, 注意 阅读全文
posted @ 2023-01-01 20:45 荣锋亮 阅读(509) 评论(0) 推荐(0)
osv-scanner google 开源漏洞扫描工具
摘要：
osv-scanner 是google 基于golang 编写的开源漏洞扫描工具，支持基于osv 数据库的扫描，生态比较好 支持的扫描模式 lockfiles sboms git 项目 说明 osv-scanner 支持的扫描语言还是不少的，而且输出格式也比较友好，比如json 格式，我们可以方便的 阅读全文
posted @ 2023-01-01 20:15 荣锋亮 阅读(1003) 评论(0) 推荐(0)
roapi 基于datafusion+ apache arrow 的多协议api 平台
摘要：
roapi 是基于datafusion+ apache arrow 的多协议api 平台，基于rust 开发 参考架构 支持的特性 多协议，graphql，rest api，pg sql 基于datasusion 的查询计划执行 数据层支持多样 基于arrow 数据格式的多样序列化处理 说明 从功能 阅读全文
posted @ 2023-01-01 19:54 荣锋亮 阅读(352) 评论(0) 推荐(0)
dremio UserServer 简单说明
摘要：
UserServer 目的是对于UserRPCServer 进行生命周期管理（基于netty 开发的）主要是处理非web 请求（实际上就是直接链接的服务） 从官方源码上UserServer 的创建只能在协调节点（当然候选节点也是可以执行rpc 服务的） 参考创建 DACDaemonModule if 阅读全文
posted @ 2022-12-29 19:05 荣锋亮 阅读(50) 评论(0) 推荐(0)
dremio jdbc 客户端简单说明
摘要：
dremio jdbc 客户端实际上包含了基本上两大类，一个是传统jdbc 的，一个是基于apache arrow flight sql jdbc 的 当前主要说明传统jdbc 客户端的，内部上dremio 基于了calcite 的avatica 进行jdbc driver 的包装，实际客户端的 链 阅读全文
posted @ 2022-12-29 19:03 荣锋亮 阅读(202) 评论(0) 推荐(0)
dremio 参考配置参考
摘要：
实际上我以前简单说明过，下边包含一个官方文档完整的，方便参数学习 官方提供的参考配置 dremio-reference.conf include classpath("dremio-reference-ext.conf") paths: { # the local path for dremio t 阅读全文
posted @ 2022-12-29 19:02 荣锋亮 阅读(210) 评论(0) 推荐(0)
gitlab 集成的一些SAST安全扫描工具
摘要：
企业内部使用gitlab 作为源代码管理的越来越多了，同时目前gitlab 不少企业特性也开源的社区免费版了，以下是支持的SAST 清单可以参考 参考清单 Language (package managers) / frameworkScan toolIntroduced in GitLab Ver 阅读全文
posted @ 2022-12-28 20:36 荣锋亮 阅读(499) 评论(0) 推荐(0)
dremio ClassCompilerSelector 简单说明
摘要：
ClassCompilerSelector 核心是基于配置的策略选择不同的类编译器，然后编译为字节数组 当前包含了基于jdk 的以及janino ClassCompiler实现类图 使用到的类 直接使用主要包含CodeCompiler以及QueryClassLoader，间接的包含了不少，主要是对于 阅读全文
posted @ 2022-12-28 18:14 荣锋亮 阅读(48) 评论(0) 推荐(0)
dremio SabotContext 简单说明
摘要：
dremio 包含不少context,而且好多context 是直接在dremio 整个执行生命周期的，比如SabotContext，QueryContext，BootStrapContext。。。。SabotContext 是一个比较重要的服务，具体的创建是由ContextService 初始化的 阅读全文
posted @ 2022-12-28 18:09 荣锋亮 阅读(37) 评论(0) 推荐(0)
databend minio 模式试用
摘要：
关注databend 很早了，最近运行试用了下（基于minio），发现databend 真的很强大了，目前也推出了cloud 环境准备 docker-compose 文件 version: '3' services: databend-single: image: datafuselabs/data 阅读全文
posted @ 2022-12-27 20:34 荣锋亮 阅读(157) 评论(0) 推荐(0)
dremio fragment 执行简单说明
摘要：
dremio 的内部执行实际上与drill 是比较类似的，只是dremio 做了不少的优化处理 一个调用流程说明 来自官方文档 参考调用链 实际执行管理的类 AttemptManager @Override public void run() { // rename the thread we're 阅读全文
posted @ 2022-12-27 17:45 荣锋亮 阅读(71) 评论(0) 推荐(0)
dremio ExecutionPlanCreator 简单说明
摘要：
dremio 在进行了一系列的sql 解析，sql 校验，逻辑计划、物理计划之后就需要实际的执行计划生成以及具体的数据处理了 ExecutionPlanCreator 的作用就是进行执行计划的生成，在dremio 中核心是fragment （包含了Major 以及Minor） 调用 参考如下，由 M 阅读全文
posted @ 2022-12-27 17:39 荣锋亮 阅读(76) 评论(0) 推荐(0)
encore 云友好的后端开发框架
摘要：
encore 云友好的后端开发框架，将云基础设施的能力直接应用到代码中 特性 简化微服务开发 内置云服务api，包含了数据库，队列，缓存，任务调度 内置devops 自动环境提供 智能架构图 分布式追踪 安全管理 自动api 文档 生成前端clients 说明 encore 基于golang 开发， 阅读全文
posted @ 2022-12-25 20:08 荣锋亮 阅读(341) 评论(0) 推荐(0)
浙公网安备 33010602011771号