荣锋亮 - 博客园

extism cli 模式简单试用

摘要：安装cli curl https://get.extism.org/cli | sh cli 模式运行官方提供了一个示例项目，可以快速体验命令 PLUGIN_URL="https://github.com/extism/plugins/releases/latest/download/count 阅读全文

posted @ 2024-02-13 08:04 荣锋亮阅读(65) 评论(0) 推荐(0)

ruffle 基于webassembly 的flash player 模拟器

摘要： ruffle 基于webassembly 的flash player 模拟器包含的特性安全基于rust 以及wasm 避免一些安全问题安装简单免费开源说明官方还提供了一个demo 站点可以快速体验功能参考资料 https://github.com/ruffle-rs/ruffleht 阅读全文

posted @ 2024-02-12 08:00 荣锋亮阅读(217) 评论(0) 推荐(0)

netflix conductor 停止维护

摘要：就在23年的12月底，netflix conductor 团队停止了对于conductor 社区版的维护，同时github 项目只读了目前社区有一个fork 的conductor-oss （ orkes 团队维护，团队成员来自netflix），orkes 属于一个企业级的conductor平台参考阅读全文

posted @ 2024-02-11 21:21 荣锋亮阅读(293) 评论(0) 推荐(0)

extism 基于rust 开发的强大webassembly 框架

摘要： extism 基于rust 开发的强大webassembly 框架包含的特性使用简单可以方便的开发基于webassembly 的插件系统安全方便运行包含了灵活的架构可以可以方便与多种语言进行通信（基本覆盖了主流的编程语言）说明目前基于webassembly的语言集成热度是越来越高了，阅读全文

posted @ 2024-02-11 08:00 荣锋亮阅读(106) 评论(0) 推荐(0)

dbt-jsonschema 来自dbt 官方的schema check 工具

摘要： dbt-jsonschema是dbt 官方开发的一个方便schema check 的工具，目前主要支持json 以及yaml 格式的check 同时官方也有一个60s 的介绍说明目前来说开发dbt 的ide dataspell 是一个不错的工具，dbt-language-server 也可以作为阅读全文

posted @ 2024-02-10 22:39 荣锋亮阅读(57) 评论(0) 推荐(0)

dremio 的InformationSchemaCatalog 服务三

摘要：以前简单写过一些关于dremio 的InformationSchemaCatalog ，也说过dremio 为了方便提供标准的INFORMATION_SCHEMA 自己开发了存储扩展，以下是关于存储扩展的创建以及刷新说明创建创建是在CatalogService 中处理的，具体的实现是Catalo 阅读全文

posted @ 2024-02-10 08:00 荣锋亮阅读(39) 评论(0) 推荐(0)

dremio CTAS STORE AS && WITH SINGLE WRITER 简单说明

摘要： dremio CTAS 支持存储格式以及写入的文件数量（相对分区还说）参考CTAS格式 CREATE TABLE "s3"."91733d30-d1d2-46bf-8f2b-3c34d587a96c" STORE AS (type => 'text', fieldDelimiter => ',', 阅读全文

posted @ 2024-02-09 08:01 荣锋亮阅读(42) 评论(0) 推荐(0)

dremio SchedulerService 服务简单说明

摘要： SchedulerService内部调度服务算是一个比较重要的模块，比如dremio的功能都依赖此模块（元数据获取，一些数据清理任务，反射加速）参考实现子类 SchedulerService 实现也比较多，因为dremio 集群中的节点有多种角色，为了保证数据的一致性会对于不同集群角色的节点进行不阅读全文

posted @ 2024-02-08 08:00 荣锋亮阅读(43) 评论(0) 推荐(0)

dremio FileSystem 简单说明

摘要： dremio 尽管对于文件系统的使用很多底层都是hdfs 的（s3，发射加速），dremio 为了减少直接依赖hdfs，自己抽象了一个FileSystem 接口对于不同的实现可以方便进行扩展，当然和刚才说的一样，不少底层依赖的是hdfs 的FileSystem 参考子类如下图简单说明: Fil 阅读全文

posted @ 2024-02-07 08:00 荣锋亮阅读(80) 评论(0) 推荐(0)

dremio cloud cache 简单说明

摘要： dremio cloud cache 实际上就是对于云文件系统的cache加速（比如hdfs，s3。。。），在处理的时候使用了ce 包装的包，详细源码并没有开源我们可以通过一些代码整体看下实现参考处理 dremio-ce-services-cachemanager 中的处理 ce caache 阅读全文

posted @ 2024-02-06 08:00 荣锋亮阅读(37) 评论(0) 推荐(0)

dremio 下载大量查询结果数据的一个技巧

摘要： dremio 可以对查询结果进行下载（csv，json，parquet格式的），但是目前有一个100万的限制，实际上一般是够用了，但是很多时候大家可能希望对于查询的结果进行存储（比如进行进一步的分发），以下是一个技巧默认下载的处理从处理上就是dremio 的查询job，将查询结果存储到一个__ 阅读全文

posted @ 2024-02-05 15:10 荣锋亮阅读(69) 评论(0) 推荐(0)

spring-plugin简单使用

摘要： spring-plugin 是spring 官方提供的一个插件化设计方案，比如使用支持基于spring 的项目项目结构此简单测试项目是一个maven 多模块的，包含了一个plugin 契约模块，连个插件实现，以及一个bootstrap 启动入口代码结构 ├── README.md ├── bo 阅读全文

posted @ 2024-02-05 09:31 荣锋亮阅读(631) 评论(0) 推荐(0)

spring-plugin 来自spring 官方的plugin 解决方案

摘要： spring-plugin属于spring 官方的plugin 解决方案使用的上下文以下是官方的一些使用场景希望构建一个插件化架构不能使用osgi的（实际上还是osgi 太复杂）系统通过一些接口进行系统扩展希望通过jar 包的模式进行系统的灵活扩展项目使用spring 说明目前不太好阅读全文

posted @ 2024-02-04 09:59 荣锋亮阅读(501) 评论(0) 推荐(0)

vscode Data Wrangler 一个强大的处理vscode 数据处理工具

摘要： vscode Data Wrangler 一个强大的处理vscode 数据处理工具，代码没有开源，但是可以进行不少数据的可视化处理安装使用效果比如我一个parquet 数据文件的显示处理说明 vscode-data-wrangler 并没有开源，技术实现上有python，同时还有dotnet 阅读全文

posted @ 2024-02-04 09:37 荣锋亮阅读(868) 评论(0) 推荐(0)

entity-resolution 学习参考资料

摘要：实体解析在实际业务数据分析场景还是很重要的，以下是一个不错的实体解析工具以及资料的github 地址其中提供了包含开源&商业解决方案，同时还有一些不错的书籍，hands-on-entity-resolution 这本书是24年新出的，核心使用到的工具是splink，很不错的python包参考资料阅读全文

posted @ 2024-02-04 09:26 荣锋亮阅读(24) 评论(0) 推荐(0)

dremio 官方一篇关于使用了到的技术进行对象存储查询加速的博客

摘要： dremio 官方发布了一篇新博客是关于如何实现对象存储的快速查询的使用的技术主要是apche arrow,reflections, columnar cloud cache (c3) 说明博客内容很简单，主要是进行了一个介绍，详细的可以看看里边的内容，同时里边包含了不少链接值得学习下参考资阅读全文

posted @ 2024-02-03 19:40 荣锋亮阅读(40) 评论(0) 推荐(0)

dremio 服务暴露的一些端口

摘要：对于运行态的dremio 我们可以看到服务开启的监听，同时也可以通过官方提供的配置文件看到 dremio 协调节点如果协调节点同时是提供执行，会暴露以下端口 zk （可能）如果使用了内嵌zk 的2181 client-endpoint 31010，主要是老遗留模式的jdbc 端口 flight 阅读全文

posted @ 2024-02-03 19:40 荣锋亮阅读(76) 评论(0) 推荐(0)

dremio LivenessService 服务简单说明

摘要： LivenessService是dremio backend 提供的一个http 服务，提供了live （存活）以及metrics服务此服务在dremio 集群中的每个节点上都会运行，以下是一些说明一些特点服务使用了jetty 与官方dac 的backend 是不太一样，默认使用了jersey 阅读全文

posted @ 2024-02-03 19:39 荣锋亮阅读(28) 评论(0) 推荐(0)

dbt_artifacts 一个很不错的dbt模型元数据扩展

摘要： dbt_artifacts 实际上属于基于基于macro 以及自定义模型开发的一个dbt 包，实现了模型的元数据能力,同时也可以作为一个dbt 模型测试的工具支持的数据库 Databricks Spark Snowflake Google BigQuery Postgres 参考资料 https: 阅读全文

posted @ 2024-02-03 19:39 荣锋亮阅读(57) 评论(0) 推荐(0)

dremio cluster docker-compose 运行

摘要： dremio 社区版，集群安装比较简单，核心就是一个配置（zk，分布式存储），为了方便本地环境的测试我基于docker-compose 提供了一个方便部署的环境，可以使用环境配置 docker-compose version: "3" services: zk: image: zookeeper 阅读全文

posted @ 2024-02-03 19:39 荣锋亮阅读(50) 评论(0) 推荐(0)

elementary 面向对象分析师的开源数据可观测工具

摘要： elementary 面向对象分析师的开源数据可观测工具,基于了dbt 包含的特性数据可观测性报告通过dbt tests 可以发现异常数据测试结果模型性能报告数据血缘 dbt 制品上传 slack 同志说明 elementary 实际上就是一个dbt 的扩展，实现了不少强大的功能，值得试阅读全文

posted @ 2024-02-03 08:01 荣锋亮阅读(50) 评论(0) 推荐(0)

quickjs-emscripten webassembly 包

摘要： quickjs-emscripten是基于emscripten将quickjs c 版本，编译为了webassembly 方便通过npm 使用包含的特性支持node以及web 使用安全的执行js （支持到es2020） quickjs runtime 进行创建以及维护值暴露主机函数到quic 阅读全文

posted @ 2024-02-02 09:28 荣锋亮阅读(249) 评论(0) 推荐(0)

docker init 简单使用

摘要：这次说的docker init 并不是init 进程，而是docker 提供了cli init 命令，与npm init 等类似的方便创建docker 项目的命令参考使用提供的能力 docker help init Usage: docker init [OPTIONS] Creates Doc 阅读全文

posted @ 2024-02-02 08:00 荣锋亮阅读(677) 评论(0) 推荐(0)

dremio vectorized Parquet Reader v2 支持

摘要： dremio 从24.3 开始支持parquet v2 writer 同时性能提升还是很明显的对于读官方在TPC-DS测试中，最低有22% 左右的，最高97%，平均77% 左右写入同样也是TPC-DS 中，存储降低24%左右，写入提升1.5% 左右，如果开启了c3 读性能提升6.4% 开启阅读全文

posted @ 2024-02-01 11:56 荣锋亮阅读(38) 评论(0) 推荐(0)

nginx-go-crossplane nginx 配置解析包试用

摘要：以下是一个简单试用，学习下nginx-go-crossplane 的使用参考代码 nginx.conf worker_processes 1; events { worker_connections 1024; } http { default_type application/octet-str 阅读全文

posted @ 2024-02-01 08:05 荣锋亮阅读(125) 评论(0) 推荐(0)

nginx-go-crossplane crossplane golang 版本的nginx 配置解析包

摘要： nginx-go-crossplane 属于python 版本crossplane nginx 配置解析包的golang 移植可以实现nginx 配置解析转换为json 格式的数据，当然也支持将json 转换为nginx 配置格式说明对于希望基于nginx 搞自己的流量统一平台，同时希望基于ap 阅读全文

posted @ 2024-01-31 08:35 荣锋亮阅读(73) 评论(0) 推荐(0)

dremio 24.3.2发布

摘要：就在最近dremio 提供了24.3.2社区版的下载，同时oss 源码也发布了，核心是一些fix,详细的可以参考官方的release notes 说明大概看了下git commit 一些变动，此版本开始，一些本来为false 的参数直接设置为了true了比如codedremio.unlimited 阅读全文

posted @ 2024-01-30 12:27 荣锋亮阅读(57) 评论(0) 推荐(0)

java 几种系统信号处理方法

摘要：主要是一个记录，jvm 提供了一些系统信号处理的辅助函数，包含了基于ShutdownHook的以及自定义SignalHandler的 ShutdownHook 模式的相当于提供了一些直接内置的能力，我们不需要太多关注，主要处理的自己一些业务逻辑参考使用 Runtime.getRuntime(). 阅读全文

posted @ 2024-01-30 08:00 荣锋亮阅读(156) 评论(0) 推荐(0)

ccm Cassandra 集群管理工具

摘要： ccm是一个Cassandra 集群管理工具，此工具也是Cassandra 权威指南书中推荐的一个工具，对于希望快速部署生产可用的Cassandra 集群是一个很值得尝试下参考资料 https://github.com/riptano/ccm 阅读全文

posted @ 2024-01-29 08:02 荣锋亮阅读(84) 评论(0) 推荐(0)

dremio yarn 测试环境部署

摘要：以前我简单写过关于dremio yarn 运行的说明（开发上基于了Twill框架，当创建基于yarn 的引擎的时候会进行dremio executor 的打包，放到hfds 中，之后基于yarn 的调度运行）,以下是一个简单的基于docker 的部署环境，方便学习环境 docker-compose 阅读全文

posted @ 2024-01-29 08:02 荣锋亮阅读(76) 评论(0) 推荐(0)

typespec 简单试用

摘要： typespec 是一个强大的api 描述框架，以下是一个简单的试用安装typespec 可以安装为全局cli 命令 npm install -g @typespec/compiler 使用创建项目 tsp init // 后续按照提示操作，可以选择http 安装依赖 tsp install 项阅读全文

posted @ 2024-01-28 08:08 荣锋亮阅读(220) 评论(0) 推荐(0)

typespec 描述api 的框架工具

摘要： typespec 是微软开源的api 描述工具，我们可以直接使用与typescript 类似的语言就能描述api，可以方便的生成rest，graphql，openapi，grpc 一些其他协议代码包含的特性 api 优先轻量级api 定义语言（基于typescript）与现有工具链可以方便的集阅读全文

posted @ 2024-01-27 08:00 荣锋亮阅读(129) 评论(0) 推荐(0)

使用dataspell 进行dbt 项目开发

摘要： dataspell 是jetbrains 的数据开发工具，是一个很不错的数据开发ide，同时也支持对于dbt 项目的开发我们可以使用类似idea 的开发模式进行dbt 项目开发参考效果项目结构数据管理注意需要自己配置数据源（可以使用遗留模式的jdbc，或者基于arrow flight jdb 阅读全文

posted @ 2024-01-26 09:20 荣锋亮阅读(134) 评论(0) 推荐(0)

ash用于构建 Elixir 应用程序的声明性和可扩展框架

摘要： ash 是一个Elixir 框架包含的特性面向资源通过plug 以及play 构建复杂的应用 graphql 支持基于absinthe 的graphql 支持 json api 支持认证&授权支持多租户支持统一数据层灵活扩展可观测性支持 phoenix ecto 框架兼容说明 a 阅读全文

posted @ 2024-01-26 08:00 荣锋亮阅读(103) 评论(0) 推荐(0)

dremio random 函数造成dremio crash 问题

摘要：以前没注意使用random，在看社区问题的时候测试了下发现的确有类似的问题，官方的解决方法是通过配置禁用gandiva 优化参考配置支持key格式 exec.disabled.gandiva-functions: <function>;<function> 参考配置参考禁用处理 sabot/ 阅读全文

posted @ 2024-01-25 10:30 荣锋亮阅读(38) 评论(0) 推荐(0)

minio 支持基于yaml 的配置参数

摘要： minio 23 年底的一个版本中，支持了基于yaml 的配置参数，以前基于环境变量的模式还是支持的，只是yaml 成为一个首选模式参考配置 yaml 配置 version: v1 address: ':9000' rootUser: 'minioadmin' rootPassword: 'pBU 阅读全文

posted @ 2024-01-24 09:19 荣锋亮阅读(491) 评论(0) 推荐(0)

dbt-language-server fivetran 提供的dbt 语言工具

摘要： dbt-language-server fivetran 提供的dbt 语言工具包含的特性查询预览 sql to ref 的转换异常高光自动完成函数签名帮助跳转定义 dbt 状态创建dbt 项目安装dbt 包说明对于基于dbt进行是数据建模的，dbt-language-serve 阅读全文

posted @ 2024-01-23 13:12 荣锋亮阅读(32) 评论(0) 推荐(0)

socketioxide 基于rust 的socket.io server 实现

摘要： socketioxide 是基于rust 的socket.io server 实现包含的特性类似axum 的API 完全兼容官方socket.io client 支持v4 协议状态管理 namespaces rooms 消息确认 polling 以及websocket 支持说明目前sock 阅读全文

posted @ 2024-01-22 12:14 荣锋亮阅读(165) 评论(0) 推荐(0)

astronomer-cosmosy一个方便dbt 在apache airflow 运行的工具

摘要： dbt 在国外比较火，同时社区也提供了不少调度运行模式（core 部分没提供），研究apache airflow 是一个不错的选择，但是原生script 模式的调用比较简单，astronomer-cosmosy 提供了方便dbt 在apache airflow 通过dag 以及task groups 阅读全文

posted @ 2024-01-21 10:13 荣锋亮阅读(160) 评论(0) 推荐(0)

spring boot 文件下载最好设置nosniff

摘要：实际上就是添加X-Content-Type-Options nosniff 规避浏览器嗅探，规避一些问题参考代码以下是一个部分参考代码 @GetMapping("/{filename:.+}") public ResponseEntity<Resource> downloadFile(@Path 阅读全文

posted @ 2024-01-20 18:32 荣锋亮阅读(126) 评论(0) 推荐(0)

导航

公告