上一页 1 ··· 34 35 36 37 38 39 40 41 42 ··· 135 下一页

2023年1月8日

neon serverless postgres 简单试用

摘要： 内容来自官方的docker-compose 内容，主要是测试试用 参考架构 从以上图可以看出，neon 应该包含了几个组件，safekeeper，pageserver，计算节点，以及对象存储，运行的服务也是参考此部署的，safekeeper 需要至少3个节点 实现了选举机制，内部试用了 部署dock 阅读全文

posted @ 2023-01-08 12:39 荣锋亮 阅读(755) 评论(0) 推荐(0)

dremio singlestore arp 扩展

摘要： 此插件来自singlestore官方的，基于了dremio 23.1 版本开发 conf 配置类 @SourceType(value = "SINGLESTOREARP", label = "SingleStore", uiConfig = "singlestore-layout.json", ex 阅读全文

posted @ 2023-01-08 11:13 荣锋亮 阅读(54) 评论(0) 推荐(0)

2023年1月7日

cosmopolitan 跨平台的c 库

摘要： cosmopolitan 是一个c 库，实现了构建一次，多次运行，在简单看了介绍之后还是很不错的，对于需要尝试狂平台运行的值得尝试下而且github 上还是很活跃的 参考资料 https://github.com/jart/cosmopolitan 阅读全文

posted @ 2023-01-07 22:49 荣锋亮 阅读(301) 评论(0) 推荐(0)

score 开源工作负载指南

摘要： score 是基于容器的，开源，平台无关的，工作负载指南，基于一套命令可以解决k8s。docker-compose 等各种环境的问题 说明 score 是一个很不错的工具，我们以前包含了terraform，或者基于jsonnet 的管理，score 使用起来也是很简洁的，而且可以自己进行扩展，还是值 阅读全文

posted @ 2023-01-07 22:41 荣锋亮 阅读(54) 评论(0) 推荐(0)

neon serverless postgres 服务

摘要： neon 是开源的基于rust 开发的serverless postgres 服务 支持的特性 计算存储隔离 分支 无限存储 自动缩放 架构 包含pageserver，计算节点的处理 safekeepers，进行wal 服务的管理 参考图可以看出数据在对象存储中 参考资料 https://githu 阅读全文

posted @ 2023-01-07 22:35 荣锋亮 阅读(324) 评论(0) 推荐(0)

2023年1月6日

dremio 系统内部存储插件与自定义存储插件加载的区别

摘要： dremio 整体包含了两大类存储扩展，系统内部使用的，以及用户开发的， 整体区别 系统的目前是在dremio 自己启动的时候就会注册以及使用的，比如加速反射的，home，元数据存储插件 用户自己开发的主要是通过web ui 或者api 初始化以及维护的 用户以及系统存储配置的可配置性不一样，系统不 阅读全文

posted @ 2023-01-06 21:06 荣锋亮 阅读(72) 评论(0) 推荐(0)

类似git 的数据版本管理工具

摘要： git 是一个很不错的svc 系统，当前基于git 的玩法是越来越多了，比如gitops，基于git 的数据管理也是包含了不少的开源实现 基于git 玩法的好处 版本化，可以实现特定版本的只读活着灵活管理，有些系统是支持不可变模式的，可以防止数据被随意修改 可管理化，可以实现数据即代码，数据不在是杂 阅读全文

posted @ 2023-01-06 17:27 荣锋亮 阅读(564) 评论(0) 推荐(0)

minio+avc+rclone 集成试用

摘要： avc 可以试用类似git 的模式管理数据支持版本以及变动，tag，以下是一个简单的集成试用 环境准备 安装avc+rclone 工具 可以通过官方下载使用 docker-compose version: '3' services: minio: image: minio/minio ports: 阅读全文

posted @ 2023-01-06 11:34 荣锋亮 阅读(132) 评论(0) 推荐(0)

jmxterm 基于jmx 的开源cli 工具

摘要： 实际上就是一个类似jconsole 的可选工具，还是很不错的，使用简单，比如适合在linux 以及对于容器环境 参考使用 下载 直接通过官方地址就可以了 运行 说明 apache kafka 官方包含了一个值得学习的文档，值得看看 参考资料 https://docs.cyclopsgroup.org 阅读全文

posted @ 2023-01-06 09:44 荣锋亮 阅读(196) 评论(0) 推荐(0)

gdb 几个不错的gui 工具

摘要： 使用gdb 我们可以方便的进行软件调整，以下是几个不错的gui 工具，可以方便调试，共享 gdb-frontend ui 还是很不错的，同时包含了一个web 体验的，值得看看 gdbgui 这个支持的比较多了，包含了c，c++，golang，rust，fortran。。。。。 参考资料 https: 阅读全文

posted @ 2023-01-06 09:17 荣锋亮 阅读(317) 评论(0) 推荐(0)

2023年1月5日

dremio PrivilegeCatalog 接口简单说明

摘要： PrivilegeCatalog 实际是一个权限检查的能力,同时dremio 的StoragePlugin 也提供了一个安全check 能力 StoragePlugin安全检查 boolean hasAccessPermission(String user, NamespaceKey key, Da 阅读全文

posted @ 2023-01-05 19:53 荣锋亮 阅读(77) 评论(0) 推荐(0)

dremio SourceCatalog 服务说明

摘要： SourceCatalog 主要进行source 的管理，包含了获取信息，创建，更新，删除，包含了不同的实现 SourceCatalog 服务定义 /** * Interface to perform actions on sources. */ // PrivilegeCatalog 可以实现权限 阅读全文

posted @ 2023-01-05 13:05 荣锋亮 阅读(60) 评论(0) 推荐(0)

dremio ManagedStoragePlugin 简单说明

摘要： ManagedStoragePlugin 从字面意思可以看出就是托管存储插件，从目前官方的设计来说就是将 自己开发的存储扩展，包装为dremio 可以管理的插件（统一模型以及统一处理） ManagedStoragePlugin 提供的能力 数据源信息维护，插件会包含一个关联的数据源 元数据策略 数据 阅读全文

posted @ 2023-01-05 13:02 荣锋亮 阅读(56) 评论(0) 推荐(0)

2023年1月4日

dremio DatasetSaver 服务说明

摘要： 我以前简单写过关于元数据处理的说明（基于jprofiler+arthas 工具）会依赖namespace 服务 实际对于数据的操作都是通过SourceMetadataManager 执行的 DatasetSaver 服务提供的能力 核心提供的能力 主要是包装DatasetSaver 处理元数据的保存 阅读全文

posted @ 2023-01-04 18:33 荣锋亮 阅读(53) 评论(0) 推荐(0)

dremio datastore简单说明

摘要： datastore 实际上是进行数据存储的实现（主要是配置以及元数据相关的）不少服务都使用到了此功能（namespace,catalog,user,job ） 实际上dremio 官方对于dremio 的部署（软件版，尤其是是社区版）有比较明确的说明，需要zk 以及本地存储（或者nas）对于协调节点 阅读全文

posted @ 2023-01-04 11:51 荣锋亮 阅读(78) 评论(0) 推荐(0)

piperider 开源数据可靠性工具

摘要： piperider 是基于python 的数据可靠性工具，主持数据的profile ，数据的测试以及数据的可观测性以及监控 核心特性 基于sql，同时支持csv 数据profule 的特性，包含了metrcis以及重复，唯一，缺少。。。 数据测试，基于内置的断言定义 基于运行的profile启动生成 阅读全文

posted @ 2023-01-04 11:50 荣锋亮 阅读(212) 评论(0) 推荐(0)

2023年1月3日

nginx-clojure 调试简单试用

摘要： 对于nginx-clojure 的调试实际上就是基于jdwp 参考配置 nginx.conf jvm_options "-agentlib:jdwp=transport=dt_socket,address=*:909#{pno},server=y,suspend=n"; 效果 idea 配置 调试效 阅读全文

posted @ 2023-01-03 21:09 荣锋亮 阅读(149) 评论(0) 推荐(0)

dremio 表函数简单说明

摘要： dremio 对于表函数的处理实际上还是基于了apcahe calcite ，只是对于dremio 来说，使用相对不是很多 目前dremio 比较多的就是外部查询，还有就是关于iceberg 的一些支持函数 参考使用 外部查询 SELECT b.customer_id, a.product_id, 阅读全文

posted @ 2023-01-03 18:32 荣锋亮 阅读(167) 评论(0) 推荐(0)

nginx-clojure java 集成试用

摘要： 主要是基于java 开发一个简单的扩展，学习下流程 java 项目 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:// 阅读全文

posted @ 2023-01-03 11:52 荣锋亮 阅读(99) 评论(0) 推荐(0)

apache drill 提供的physical-operators 以及说明

摘要： 当前支持物理操作 分布式操作 主要是通过网络的，包含以下操作 join 操作 聚合操作 排序以及分页 投影操作 过滤以及相关操作 集合操作 扫描操作 接受操作 发送操作 文件写操作 说明 drill 的一些官方文档对于学习dremio 还是很有用的，了解以上的一些物理操作器，可以更好的学习dremi 阅读全文

posted @ 2023-01-03 11:50 荣锋亮 阅读(45) 评论(0) 推荐(0)

dremio 数据存储结构示例

摘要： 从dremio 运行系统摘录一些存储结构，方便了解dremio 分布式存储（主要以对象存储为主，当然nas 也是可以使用的） 部分，整体结构类似，但是文件夹名称可能会不要一样（反射内部的存储结构是一致的） 主要包含了反射，下载，上传，一致job 执行结果 ├── accelerator │ ├── 阅读全文

posted @ 2023-01-03 11:48 荣锋亮 阅读(97) 评论(0) 推荐(0)

2023年1月2日

nginx-clojure docker 镜像

摘要： 主要是一个测试，方便学习使用nginx-clojure 强大的能力 dockerfile 直接基于了openjdk:10-slim 基础镜像，同时基于copy 文件的格式处理 FROM openjdk:10-slim WORKDIR /usr/local/nginx COPY nginx-cloju 阅读全文

posted @ 2023-01-02 23:17 荣锋亮 阅读(55) 评论(0) 推荐(0)

dremio NamespaceService 简单说明一

摘要： 此处主要说明社区版dremio namspaceservice 包含的一个能力，我们如果自己扩展下就可以实现简单的部分权限管理 参加定义类图 如下如可以看出namspaceservice 提供的能力 一个额外的能力 接口定义 interface Factory { /** * Return a na 阅读全文

posted @ 2023-01-02 22:18 荣锋亮 阅读(55) 评论(0) 推荐(0)

dremio 的加速文件系统插件简单说明

摘要： dremio 包含一个强大的功能就是反射加速，dremio 为了对于反射数据的存储开发了自己的文件系统插件 插件类图 parquet 以及iceberg 的支持 从start 入口可以看出包含了不同的处理，实际上dremio 从21 版本开始就默认基于了iceberg 存储了（同时也需要分布式存储） 阅读全文

posted @ 2023-01-02 21:57 荣锋亮 阅读(102) 评论(0) 推荐(0)

dremio ClassPathScanner 简单说明

摘要： ClassPathScanner 实际上是dremio 基于配置+约定的类扫描处理，为了性能同时使用了开源的reflections 工具包 约定 主要扫描包含以下约定key 的类或者包 /** Configuration pathname to list of names of packages t 阅读全文

posted @ 2023-01-02 21:37 荣锋亮 阅读(58) 评论(0) 推荐(0)

dremio formatPlugin 调用链

摘要： 格式化插件在dremio 中是比较核心的，包含了不少格式化插件，了解格式化插件的执行可以更好的开发自己的扩展以及了解dremio的内部机制 以下是基于arthas 分析的一个调用链可以参考 调用链 stack parquet format plugin stack com.dremio.exec.s 阅读全文

posted @ 2023-01-02 10:08 荣锋亮 阅读(37) 评论(0) 推荐(0)

gluon 基于浏览器+nodejs 的桌面应用开发框架

摘要： gluon 基于浏览器+nodejs 的桌面应用开发框架，好处是相对轻量，只使用系统浏览器，对于nodejs 可以支持包含以及不包含模式目前支持chrome 以及firfox 浏览器器，打包的应用相对比较小，同时内存使用也比较少 官方对比 说明 tauri 是基于rust 的性能很不错，目前就是不太 阅读全文

posted @ 2023-01-02 09:36 荣锋亮 阅读(1037) 评论(0) 推荐(0)

2023年1月1日

nginx-clojure nginx clojure & java & groovy 模块

摘要： nginx-clojure 是一个nginx 扩展模块，让我们可以直接运行 clojure & java & groovy ，还是比较强大的，支持的功能也不少我们可以直接基于jvm 对于nginx 进行扩展了，还是值得尝试的 说明 但是因为jvm 的特殊性（算是比较重），目前看到社区也有一些构建好的 阅读全文

posted @ 2023-01-01 23:34 荣锋亮 阅读(162) 评论(0) 推荐(0)

haproxy 2.7 发布

摘要： 就在最近haproxy 2.7 发布了 支持的新特性 流量整形，新的不少指令，比如filter bwlim-out 以及filter bwlim-in 还包含了response 以及request 的流量处理 支持更大的线程，以前包含了64 线程数的限制 更好的health check 性能 htt 阅读全文

posted @ 2023-01-01 21:15 荣锋亮 阅读(199) 评论(0) 推荐(0)

sccache 基于rust 类似ccache 的编译cache 工具

摘要： sccache 类似ccache 的编译cache 工具，支持基于本地磁盘，或者云对象存储 特性 基于c/c++ ，rust 编译 支持增量编译 rust 集成使用 可以通过定义build.rustc-wrapper ， 基于配置文件 参考配置$HOME/.cargo/config.toml, 注意 阅读全文

posted @ 2023-01-01 20:45 荣锋亮 阅读(536) 评论(0) 推荐(0)

osv-scanner google 开源漏洞扫描工具

摘要： osv-scanner 是google 基于golang 编写的开源漏洞扫描工具，支持基于osv 数据库的扫描，生态比较好 支持的扫描模式 lockfiles sboms git 项目 说明 osv-scanner 支持的扫描语言还是不少的，而且输出格式也比较友好，比如json 格式，我们可以方便的 阅读全文

posted @ 2023-01-01 20:15 荣锋亮 阅读(1026) 评论(0) 推荐(0)

roapi 基于datafusion+ apache arrow 的多协议api 平台

摘要： roapi 是基于datafusion+ apache arrow 的多协议api 平台，基于rust 开发 参考架构 支持的特性 多协议，graphql，rest api，pg sql 基于datasusion 的查询计划执行 数据层支持多样 基于arrow 数据格式的多样序列化处理 说明 从功能 阅读全文

posted @ 2023-01-01 19:54 荣锋亮 阅读(369) 评论(0) 推荐(0)

2022年12月29日

dremio UserServer 简单说明

摘要： UserServer 目的是对于UserRPCServer 进行生命周期管理（基于netty 开发的）主要是处理非web 请求（实际上就是直接链接的服务） 从官方源码上UserServer 的创建只能在协调节点（当然候选节点也是可以执行rpc 服务的） 参考创建 DACDaemonModule if 阅读全文

posted @ 2022-12-29 19:05 荣锋亮 阅读(59) 评论(0) 推荐(0)

dremio jdbc 客户端简单说明

摘要： dremio jdbc 客户端实际上包含了基本上两大类，一个是传统jdbc 的，一个是基于apache arrow flight sql jdbc 的 当前主要说明传统jdbc 客户端的，内部上dremio 基于了calcite 的avatica 进行jdbc driver 的包装，实际客户端的 链 阅读全文

posted @ 2022-12-29 19:03 荣锋亮 阅读(212) 评论(0) 推荐(0)

dremio 参考配置参考

摘要： 实际上我以前简单说明过，下边包含一个官方文档完整的，方便参数学习 官方提供的参考配置 dremio-reference.conf include classpath("dremio-reference-ext.conf") paths: { # the local path for dremio t 阅读全文

posted @ 2022-12-29 19:02 荣锋亮 阅读(225) 评论(0) 推荐(0)

2022年12月28日

gitlab 集成的一些SAST安全扫描工具

摘要： 企业内部使用gitlab 作为源代码管理的越来越多了，同时目前gitlab 不少企业特性也开源的社区免费版了，以下是支持的SAST 清单可以参考 参考清单 Language (package managers) / frameworkScan toolIntroduced in GitLab Ver 阅读全文

posted @ 2022-12-28 20:36 荣锋亮 阅读(526) 评论(0) 推荐(0)

dremio ClassCompilerSelector 简单说明

摘要： ClassCompilerSelector 核心是基于配置的策略选择不同的类编译器，然后编译为字节数组 当前包含了基于jdk 的以及janino ClassCompiler实现类图 使用到的类 直接使用主要包含CodeCompiler以及QueryClassLoader，间接的包含了不少，主要是对于 阅读全文

posted @ 2022-12-28 18:14 荣锋亮 阅读(55) 评论(0) 推荐(0)

dremio SabotContext 简单说明

摘要： dremio 包含不少context,而且好多context 是直接在dremio 整个执行生命周期的，比如SabotContext，QueryContext，BootStrapContext。。。。SabotContext 是一个比较重要的服务，具体的创建是由ContextService 初始化的 阅读全文

posted @ 2022-12-28 18:09 荣锋亮 阅读(49) 评论(0) 推荐(0)

2022年12月27日

databend minio 模式试用

摘要： 关注databend 很早了，最近运行试用了下（基于minio），发现databend 真的很强大了，目前也推出了cloud 环境准备 docker-compose 文件 version: '3' services: databend-single: image: datafuselabs/data 阅读全文

posted @ 2022-12-27 20:34 荣锋亮 阅读(171) 评论(0) 推荐(0)

dremio fragment 执行简单说明

摘要： dremio 的内部执行实际上与drill 是比较类似的，只是dremio 做了不少的优化处理 一个调用流程说明 来自官方文档 参考调用链 实际执行管理的类 AttemptManager @Override public void run() { // rename the thread we're 阅读全文

posted @ 2022-12-27 17:45 荣锋亮 阅读(83) 评论(0) 推荐(0)

上一页 1 ··· 34 35 36 37 38 39 40 41 42 ··· 135 下一页

导航