荣锋亮 - 博客园

dremio 22 udf 功能

摘要： dremio 22 开始支持了直接基于sql 的udf，很方便，强大，但是目前对于社区版来说智能创建，暂时还不能直接使用目前udf 面向的创建是基于行以及列级别的访问控制创建udf函数 CREATE FUNCTION multiply (x INT, y INT) RETURNS INT RET 阅读全文

posted @ 2022-07-16 12:18 荣锋亮阅读(78) 评论(0) 推荐(0)

dremio 的一些系统表

摘要： dremio 的一些系统表是比较有用的，比如进行系统反射以及node 信息的查看，同时也便于系统的监控（同时我们也可以基于prometheus 处理）查询命令 SELECT * FROM INFORMATION_SCHEMA."TABLES" 包含的信息(红框部分比较重要，值得学习参考) 对于反射阅读全文

posted @ 2022-07-16 01:14 荣锋亮阅读(81) 评论(0) 推荐(0)

dremio 22 odbc 新特性

摘要：从dremio 22 开始odbc 支持了arrow flight sql 了，可以很大的提高sql 的性能，但是目前源码没有开源目前支持的操作系统包含了centos 以及windows 10 以及新的（64位系统）说明 arrow 的flight sql 可以很大的提升数据查询处理能力，很值得阅读全文

posted @ 2022-07-16 00:25 荣锋亮阅读(60) 评论(0) 推荐(0)

cube.js 0.30.30 配置的一些变动

摘要：好久没关注cube.js 最近0.30.30 有一个比较大的变动就是driverFactory 新配置 driverFactory: (context: DriverContext) => DriverConfig | BaseDriver | Promise<BaseDriver>; 此配置的影响阅读全文

posted @ 2022-07-14 00:15 荣锋亮阅读(60) 评论(0) 推荐(0)

Nightingale 监控报警平台

摘要： Nightingale 从官方的介绍是企业版的prometheus，从功能上的确是很不错的，我们基本上可以实现基于ui 灵活的管理prometheus 的报警处理参考架构 VictoriaMetrics 集成玩法一种集成玩法主要集成VictoriaMetrics 使用了vmagent，注意同时阅读全文

posted @ 2022-07-11 12:08 荣锋亮阅读(392) 评论(0) 推荐(0)

基于jprofiler 的一个简单dremio 查询处理学习

摘要：一个dremio 查询简单调用链的说明参考命令 arthas watch watch com.dremio.sabot.exec.fragment.FragmentExecutor$AsyncTaskImpl run '{params, target, returnObj, throwExp}' 阅读全文

posted @ 2022-07-10 19:48 荣锋亮阅读(85) 评论(0) 推荐(0)

dremio openjdk 11 docker 镜像

摘要： dremio 官方也说明了，已经支持openjdk 11 了，但是默认官方的还是openjdk 8，为了体验jdk11 所以基于官方的搞了一个openjdk11 的镜像，很简单 dockerfile ARG JAVA_IMAGE="openjdk:11-jdk" FROM ${JAVA_IMAGE 阅读全文

posted @ 2022-07-09 22:37 荣锋亮阅读(1319) 评论(0) 推荐(0)

apache spark conenct 提升spark 能力

摘要： spark 是一个很强大的工具，但是大家可能也会使用比较费事，包含了集群管理，以及多租户管理，所以社区开发了不少基于spark 的扩展，apachekyuubi 就是一个典型提供了多租户以及直接使用sql 进行spark 操作的能力原有spark 集成模式新spark 集成模式说明 apach 阅读全文

posted @ 2022-07-09 20:19 荣锋亮阅读(148) 评论(0) 推荐(0)

使用jxray分析jvm heap 信息

摘要：很多时候我们的系统jvm 内存涨的比较快我们需要通过一些工具解决，方法还是比较做的比如通过jcmd 或者jprofiler 或者arthas 生成heap 文件，然后就可以使用其他工具分析了 eclipse 的heap 分析工具（mat）以及其他的，同时也会有一些内存异常的提示，jxray 是一阅读全文

posted @ 2022-07-09 19:32 荣锋亮阅读(417) 评论(0) 推荐(0)

记一次jenkins 升级问题

摘要：问题比较简单，主要是关于jdk 问题的，因为系统的jdk 都是基于rpm 构建的openjdk，而且项目构建需要使用openjdkjenkins 安装也是基于rpm 包的（jdk8），但是因为2.357 必须使用jdk 11 或者17了，但是因为构建节点（slave）使用的jdk8 （必须使用）所以阅读全文

posted @ 2022-07-06 01:10 荣锋亮阅读(615) 评论(0) 推荐(0)

hasura graphql-engine centos 7 二进制文件

摘要：昨天自己构建了一个简单的hasura graphql-engine centos 7 二进制文件，可以使用参考使用下载 wget https://github.com/rongfengliang/graphql-engine-centos7/releases/download/1.0.0/gra 阅读全文

posted @ 2022-07-06 00:29 荣锋亮阅读(85) 评论(0) 推荐(0)

hasura graphql-engine 源码构建问题

摘要：基于centos 7 构建安装haskell 构建工具 curl --proto '=https' --tlsv1.2 -sSf https://get-ghcup.haskell.org | sh 依赖包问题 gmp yum install -y gmp-devel pcre yum insta 阅读全文

posted @ 2022-07-04 22:49 荣锋亮阅读(140) 评论(0) 推荐(0)

使用rocky linux 运行hasura graphql-engine

摘要：主要说明下操作，实际运行比较简单(使用了阿里云的rocky linux ) 准备二进制文件可以参考我以前写的，可以直接使用docker 编译的版本预备安装 pg 对于pg 可以使用rpm包安装 dnf install -y https://download.postgresql.org/pub/ 阅读全文

posted @ 2022-07-04 00:12 荣锋亮阅读(36) 评论(0) 推荐(0)

cossacklabs acra 开源数据库安全套件

摘要： acra是cossacklabs 开源的数据库安全工具，支持数据库的proxy，同时提供了安全处理能力（加密）参考使用模式说明目前cossacklabs acra 支持mysql 以及pg，其他的暂时不支持（理论上可以自己扩展），cossacklabs acra 的源码也是值得学习参考的，尤其阅读全文

posted @ 2022-07-03 20:38 荣锋亮阅读(285) 评论(0) 推荐(0)

delta lake 2.0 预览版发布

摘要：就在几天前delta lake 2.0 预览版发布了，从功能上来说，官方完全开源了以前一些商业版的特性包含的一些特性 cdf 支持，比较适合数据变动处理 z-order ，可以支持更好的查询过滤处理支持删除列支持动态分片覆盖说明以上只是部分，实际上delta lake 现在已经不依赖spa 阅读全文

posted @ 2022-07-03 19:21 荣锋亮阅读(127) 评论(0) 推荐(0)

hasura graphql-engine 二进制运行方法说明

摘要： hasura graphql-engine 的运行模式默认是基于容器的，而且还是比较推荐的模式，但是很多时候我们可能需要基于二进制的运行模式以下是方法的参考说明解决方法自己源码构建 hasura graphql-engine 基于haskell 编写，而且新版本依赖不少三方库，构建起来不是很方便阅读全文

posted @ 2022-07-03 18:29 荣锋亮阅读(133) 评论(0) 推荐(0)

dremio 对于iceberg 的操作支持

摘要：从dremio 22 开始iceberg 已经成为了dremio 标配的ctas 操作了，而且同时也支持直接创建iceberg 表了，此功能整个是很强大支持的操作 create 支持ctas 以及普通的create 操作 ctas create table mys3.demoapp.dalongt 阅读全文

posted @ 2022-07-01 00:41 荣锋亮阅读(247) 评论(0) 推荐(0)

dremio 22 变动体验

摘要：主要是验证下官方发布 ctas iceberg 成为默认 iceberg dml 操作比如update, 真的比较强大了 sql 自动提示是更加友好了 arrow cache 废弃了支持对于table 添加主键说明以上只是简单的测试，详细的其他功能打开可以测试，目前来说22 版本还是很强大阅读全文

posted @ 2022-06-30 00:50 荣锋亮阅读(65) 评论(0) 推荐(0)

dremio 22 发布

摘要： dremio 22 发布了（目前社区版下载以及源码暂时还没发布），新功能很多，也比较值得期待新特性 iceberg dml 支持，支持了delete，update，merge 等操作，很强大 azure data explorer 数据源支持 sql 编辑器，自动提示 sql runner 保存s 阅读全文

posted @ 2022-06-27 08:05 荣锋亮阅读(64) 评论(2) 推荐(0)

apache directory-fortress 基于rbac 的模块

摘要： directory-fortress 属于apache directory 的子项目，实现了rbac 的能力参考架构说明 fortress 使用ldap 做为底层存储，实现了rbac 的能力，基于abac 可以更好的扩展参考资料 https://github.com/apache/direct 阅读全文

posted @ 2022-06-26 22:30 荣锋亮阅读(112) 评论(0) 推荐(0)

openmetadata abac 实现简单说明

摘要：昨天简单说明了下，通过研究abac 发现abac 是比较强大的权限控制方案（相比常用的rbac 更加方便灵活） abac 参考落地方案 openmetadata 参考实体定义 openmetadata 的处理 pap， openmetadata 实现了admin api 以及ui，可以进行管理 pi 阅读全文

posted @ 2022-06-26 20:09 荣锋亮阅读(465) 评论(0) 推荐(0)

openmetadata 权限设计学习

摘要： openmetadata 早期版本权限是控制是比较弱的，0.8 之后提供了扩展能力，同时官方也提供了一篇文章介绍自己的实践以下是一些简单总结 openmetadata 的权限架构参考图知识点参考了NIST 论文的内容参考图策略处理上先是基于casbin 搞了一个简单原型，然后基于了easy 阅读全文

posted @ 2022-06-26 00:52 荣锋亮阅读(254) 评论(0) 推荐(0)

数据应用访问控制的一些参考资料

摘要：我们如果需要开发一个数据的自助服务应用访问控制是比较复杂的，包含了多重因素来自集成系统的来自自身系统业务模型的以上因素会加剧数据应用访问控制的复杂性，所以了解一些业界实践还是比较有用的，以下是一些参考资料值得学习下参考资料 https://blog.satoricyber.com/askin 阅读全文

posted @ 2022-06-25 22:13 荣锋亮阅读(89) 评论(0) 推荐(0)

kuwala 开源构建分析工作流开发的无代码数据平台

摘要：一张参考图从下图可以看出kuwala使用到的组件说明目前越来越多的数据平台都在集成dbt 以及singer 协议的etl （airbyte 就是扩展了singer），这几个工具还是值得学习的参考资料 https://github.com/kuwala-io/kuwala 阅读全文

posted @ 2022-06-21 23:44 荣锋亮阅读(295) 评论(0) 推荐(0)

amass OWASP开源的深入的攻击面映射和资产发现工具

摘要： amass 从使用上来说属于一个安全工具，基于此工具我们可以发现一个潜在的安全问题对于我们需要发现一些潜在安全隐患的时候是比较有用的，同时如果希望基于反向模式的资产发现也是很有用的（比如cmdb）参考使用以下是被动发现一些owasp.org 的子域 amass enum -passive - 阅读全文

posted @ 2022-06-19 23:49 荣锋亮阅读(381) 评论(0) 推荐(0)

citus 11 的一些参考资料

摘要： citus 11 是一个完全开源的版本很值得使用学习，以下整理了一些资料可以参考说明资料中包含了不少关于10 版本的特性，基于此可以更好的了解citus 最近版本开源的能力参考资料 https://www.citusdata.com/updates/v11-0/https://www.citu 阅读全文

posted @ 2022-06-18 23:39 荣锋亮阅读(117) 评论(0) 推荐(0)

citus 11 参考简单使用

摘要：基于官当的docker-compose 模板简单测试下citus 11 的查询特性，对于负载lb 基于了haproxy 测试说明使用docker-compose 进行worker 节点的扩容，注意是先准备好的，实际使用的时候会基于管理sql 添加节点的环境准备 docker-compose 文件阅读全文

posted @ 2022-06-18 23:26 荣锋亮阅读(384) 评论(0) 推荐(0)

citus 11 发布了

摘要： citus 11 就在昨天ga 了，企业特性都开源了，以后可以高效无顾虑的使用citus ，官方博客发布的一片博客值得学习核心部分企业特性开源任何节点可以查询分布式表预览特性分布式表的trigger 开源的企业核心特性数据的重新分布使用了逻辑复制，避免了写入的阻塞多用户支持（角色，授权阅读全文

posted @ 2022-06-18 09:57 荣锋亮阅读(152) 评论(0) 推荐(0)

dremio 增量反射处理

摘要：我们可以基于dremio 的反射进行数据加速处理，dremio 支持全量以及增量，全量是比较简单的，dremio直接处理完整数据(当然会基于版本以及有效期处理，不是简单的直接删除，然后使用的，不然会影响业务的)，对于增量处理就比较复杂了增量处理策略对于文件系统，可以自动标识新的文件对于其他数据阅读全文

posted @ 2022-06-16 21:20 荣锋亮阅读(197) 评论(0) 推荐(0)

k8s 自定义pod hosts的几种方法

摘要：日常中我们可能会碰到不少关于自定义pod hosts的场景，对于不同的k8s 版本处理的不一样的以下整理一些参考方法自定义coredns 自定义coredns 可以直接让解析的域名使用coredns 处理，好处是可以全局生效，不好的地方就是全局可能会影响其他不需要自定义hosts的扩展core 阅读全文

posted @ 2022-06-16 21:19 荣锋亮阅读(1966) 评论(0) 推荐(0)

WunderGraph 组件

摘要： WunderGraph 整体机制以前简单介绍过，以下简单说明下包含的组件组件 wunderctl 创建部署以及管理WunderGraph应用基于golang 编写，提供cli 能力，同时基于nodejs 包装为了一个npm包（在使用的时候基于github 进行二进制文件的下载）提供的能力不少阅读全文

posted @ 2022-06-12 20:40 荣锋亮阅读(98) 评论(0) 推荐(0)

async-profiler convert 方便的jfr 转换工具

摘要： async-profiler 是一个很不错的java 性能分析工具，同时也包含了一个方便的jfr 转换工具convert （当然不只是jfr，其他的比如collapsed stacks 也是支持的）以下是一个简单的使用(用来分析dremio 的) 环境准备 dremio 生成jfr 文件 jfr 阅读全文

posted @ 2022-06-11 22:29 荣锋亮阅读(293) 评论(0) 推荐(0)

几个不错的数据加速工具

摘要：主要说明一些关于数据查询引擎、以及大数据加速的开源工具 alluxio 分布式虚拟机文件系统，可以用来加载数据访问，比较适合大数据，机器数据，数据湖查询。。。 juicefs 也是开源的基于golang 的对于对象存储的优化（当然也可以本地运行的，缺少分布式能力，需要一个元数据存储）目前来说支持机器阅读全文

posted @ 2022-06-11 19:50 荣锋亮阅读(386) 评论(0) 推荐(0)

dremio kernel 一些隐藏的配置

摘要：具体配置参考sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java，我们研究学习下这些配置对于我们学习以及优化dremio 都是比较有用的，比如一些dremio 的默认参数就可以基于此调整了简单配置截图说明 dremio 的一些阅读全文

posted @ 2022-06-11 10:19 荣锋亮阅读(42) 评论(0) 推荐(0)

dremio 支持创建iceberg 的方法

摘要：实际上在以前介绍dremio 21.1特性的时候我就简单说明过这个特性，但是没有运行起来，实际上是配置问题参考玩法配置iceberg alter system set dremio.iceberg.enabled = true; alter system set dremio.execution 阅读全文

posted @ 2022-06-11 10:02 荣锋亮阅读(116) 评论(0) 推荐(0)

cube.js 配置json schema

摘要：通过对与cube 配置的json schema 学习我们可以知道cube.js 都包含了那些扩展点，可以方便系统的扩容以及优化内容 const schemaOptions = Joi.object().keys({ // server CreateOptions initApp: Joi.func 阅读全文

posted @ 2022-06-11 09:39 荣锋亮阅读(113) 评论(0) 推荐(0)

cube.js 一些新配置参数

摘要： cube.js 最近的一些变动还是不少的，包含了sql 处理以及graphql，目前看团队一直在发力sql 以及bi 周边的集成能力一些新配置 sql auth 主要面向sql 处理的(sql endpoint) module.exports = { checkSqlAuth: (req, use 阅读全文

posted @ 2022-06-11 09:28 荣锋亮阅读(141) 评论(0) 推荐(0)

dremio logback 几个配置文件简单说明

摘要： dremio 是了slf4j 进行文件日志处理，使用的是logback，默认会包含三个日志文件 logback-access.xml logback-admin.xml logback.xml 简单说明 logback.xml 标准logback日志配置文件主要记录dremio内部组件的日志，log 阅读全文

posted @ 2022-06-07 12:54 荣锋亮阅读(129) 评论(0) 推荐(0)

记一次rabbitmq 消息不能接收故障的处理

摘要：问题当时比较怪异，现象是通过rabbitmq 的management可以发送消息（消息内容比较小，很简单的），但是通过代码没有任何报错但是消息就是不能看到（management 界面）排错处理开始以为是代码处理问题，但是没有异常日志，也怀疑因为代码发布造成队列错误造成消息写入错误，我一般的此阅读全文

posted @ 2022-06-07 00:42 荣锋亮阅读(1298) 评论(0) 推荐(0)

wundergraph 开源了

摘要：就在今天wundergraph完全开源了，而且基于apache 2.0 协议参考架构说明 wundergraph 的一些玩法还是比较有意思的，比如server side 使用了graphql，客户端反而基于了代码生成的客户端代码，官方的说法是基于json-rpc模式的操作同时基于get，可以生阅读全文

posted @ 2022-06-06 23:46 荣锋亮阅读(149) 评论(0) 推荐(0)

导航

公告