dremio 当前支持的权限
摘要：
了解dremio 当前支持的权限，可以让给你我们更好的处理以及学习dremio的安全控制机制 数据集权限 alter 对于system，space，source，folder，pds，vds 的操作，包含了add,delete,modify,同时包含了元数据的处理 alter_reflection 阅读全文
posted @ 2022-07-16 23:18 荣锋亮 阅读(89) 评论(0) 推荐(0)
dremio 权限体系
摘要：
尽管dremio 的社区版没有提供rbac 以及权限管理的模块能力，但是我们通过官方文档还是可以学到不少东西的，同时也有助于我们可以自己的认证授权模块 对象层级 dremio 是基于了继承模型进行权限的处理，比如我们授权的对象，包含了子对象，那个用户也是可以操作子对象的（dremio 称之为scop 阅读全文
posted @ 2022-07-16 23:04 荣锋亮 阅读(148) 评论(0) 推荐(0)
dremio udf 参考调用处理
摘要：
以下是基于arthas 生成的调用，可以参考学习使用 参考调用 [arthas@1]$ stack com.dremio.exec.planner.sql.handlers.direct.CreateFunctionHandler toResult Press Q or Ctrl+C to abor 阅读全文
posted @ 2022-07-16 12:26 荣锋亮 阅读(76) 评论(0) 推荐(0)
dremio 22 udf 功能
摘要：
dremio 22 开始支持了直接基于sql 的udf，很方便，强大，但是目前对于社区版来说智能创建，暂时还不能直接使用 目前udf 面向的创建是基于行以及列级别的访问控制 创建udf函数 CREATE FUNCTION multiply (x INT, y INT) RETURNS INT RET 阅读全文
posted @ 2022-07-16 12:18 荣锋亮 阅读(82) 评论(0) 推荐(0)
dremio 的一些系统表
摘要：
dremio 的一些系统表是比较有用的，比如进行系统反射以及node 信息的查看，同时也便于系统的监控（同时我们也可以基于prometheus 处理） 查询命令 SELECT * FROM INFORMATION_SCHEMA."TABLES" 包含的信息(红框部分比较重要，值得学习参考) 对于反射 阅读全文
posted @ 2022-07-16 01:14 荣锋亮 阅读(88) 评论(0) 推荐(0)
dremio 22 odbc 新特性
摘要：
从dremio 22 开始odbc 支持了arrow flight sql 了，可以很大的提高sql 的性能，但是目前源码没有开源目前支持的操作系统包含了centos 以及windows 10 以及新的（64位系统） 说明 arrow 的flight sql 可以很大的提升数据查询处理能力， 很值得 阅读全文
posted @ 2022-07-16 00:25 荣锋亮 阅读(67) 评论(0) 推荐(0)
cube.js 0.30.30 配置的一些变动
摘要：
好久没关注cube.js 最近0.30.30 有一个比较大的变动就是driverFactory 新配置 driverFactory: (context: DriverContext) => DriverConfig | BaseDriver | Promise<BaseDriver>; 此配置的影响 阅读全文
posted @ 2022-07-14 00:15 荣锋亮 阅读(70) 评论(0) 推荐(0)
Nightingale 监控报警平台
摘要：
Nightingale 从官方的介绍是企业版的prometheus，从功能上的确是很不错的，我们基本上可以实现基于ui 灵活的管理prometheus 的报警处理 参考架构 VictoriaMetrics 集成玩法 一种集成玩法 主要集成VictoriaMetrics 使用了vmagent，注意同时 阅读全文
posted @ 2022-07-11 12:08 荣锋亮 阅读(401) 评论(0) 推荐(0)
基于jprofiler 的一个简单dremio 查询处理学习
摘要：
一个dremio 查询简单调用链的说明 参考命令 arthas watch watch com.dremio.sabot.exec.fragment.FragmentExecutor$AsyncTaskImpl run '{params, target, returnObj, throwExp}' 阅读全文
posted @ 2022-07-10 19:48 荣锋亮 阅读(94) 评论(0) 推荐(0)
dremio openjdk 11 docker 镜像
摘要：
dremio 官方也说明了，已经支持openjdk 11 了，但是默认官方的还是openjdk 8，为了体验jdk11 所以基于官方的 搞了一个openjdk11 的镜像，很简单 dockerfile ARG JAVA_IMAGE="openjdk:11-jdk" FROM ${JAVA_IMAGE 阅读全文
posted @ 2022-07-09 22:37 荣锋亮 阅读(1338) 评论(0) 推荐(0)
apache spark conenct 提升spark 能力
摘要：
spark 是一个很强大的工具，但是大家可能也会使用比较费事，包含了集群管理，以及多租户管理，所以社区开发了不少基于spark 的扩展，apachekyuubi 就是一个典型提供了多租户以及直接使用sql 进行spark 操作的能力 原有spark 集成模式 新spark 集成模式 说明 apach 阅读全文
posted @ 2022-07-09 20:19 荣锋亮 阅读(152) 评论(0) 推荐(0)
使用jxray分析jvm heap 信息
摘要：
很多时候我们的系统jvm 内存涨的比较快我们需要通过一些工具解决，方法还是比较做的 比如通过jcmd 或者jprofiler 或者arthas 生成heap 文件，然后就可以使用其他工具分析了 eclipse 的heap 分析工具（mat）以及其他的，同时也会有一些内存异常的提示，jxray 是 一 阅读全文
posted @ 2022-07-09 19:32 荣锋亮 阅读(439) 评论(0) 推荐(0)
记一次jenkins 升级问题
摘要：
问题比较简单，主要是关于jdk 问题的，因为系统的jdk 都是基于rpm 构建的openjdk，而且项目构建需要使用openjdkjenkins 安装也是基于rpm 包的（jdk8），但是因为2.357 必须使用jdk 11 或者17了，但是因为构建节点（slave）使用的jdk8 （必须使用）所以 阅读全文
posted @ 2022-07-06 01:10 荣锋亮 阅读(626) 评论(0) 推荐(0)
hasura graphql-engine centos 7 二进制文件
摘要：
昨天自己构建了一个简单的hasura graphql-engine centos 7 二进制文件，可以使用 参考使用 下载 wget https://github.com/rongfengliang/graphql-engine-centos7/releases/download/1.0.0/gra 阅读全文
posted @ 2022-07-06 00:29 荣锋亮 阅读(98) 评论(0) 推荐(0)
hasura graphql-engine 源码构建问题
摘要：
基于centos 7 构建 安装haskell 构建工具 curl --proto '=https' --tlsv1.2 -sSf https://get-ghcup.haskell.org | sh 依赖包问题 gmp yum install -y gmp-devel pcre yum insta 阅读全文
posted @ 2022-07-04 22:49 荣锋亮 阅读(148) 评论(0) 推荐(0)
使用rocky linux 运行hasura graphql-engine
摘要：
主要说明下操作，实际运行比较简单(使用了阿里云的rocky linux ) 准备二进制文件 可以参考我以前写的，可以直接使用docker 编译的版本 预备安装 pg 对于pg 可以使用rpm包安装 dnf install -y https://download.postgresql.org/pub/ 阅读全文
posted @ 2022-07-04 00:12 荣锋亮 阅读(49) 评论(0) 推荐(0)
cossacklabs acra 开源数据库安全套件
摘要：
acra是cossacklabs 开源的数据库安全工具，支持数据库的proxy，同时提供了安全处理能力（加密） 参考使用模式 说明 目前cossacklabs acra 支持mysql 以及pg，其他的暂时不支持（理论上可以自己扩展），cossacklabs acra 的源码也是值得学习参考的，尤其 阅读全文
posted @ 2022-07-03 20:38 荣锋亮 阅读(297) 评论(0) 推荐(0)
delta lake 2.0 预览版发布
摘要：
就在几天前delta lake 2.0 预览版发布了，从功能上来说，官方完全开源了以前一些商业版的特性 包含的一些特性 cdf 支持，比较适合数据变动处理 z-order ，可以支持更好的查询过滤处理 支持删除列 支持动态分片覆盖 说明 以上只是部分，实际上delta lake 现在已经不依赖spa 阅读全文
posted @ 2022-07-03 19:21 荣锋亮 阅读(132) 评论(0) 推荐(0)
hasura graphql-engine 二进制运行方法说明
摘要：
hasura graphql-engine 的运行模式默认是基于容器的，而且还是比较推荐的模式，但是很多时候我们可能需要基于二进制的运行模式以下是方法的参考说明 解决方法 自己源码构建 hasura graphql-engine 基于haskell 编写，而且新版本依赖不少三方库，构建起来不是很方便 阅读全文
posted @ 2022-07-03 18:29 荣锋亮 阅读(142) 评论(0) 推荐(0)
dremio 对于iceberg 的操作支持
摘要：
从dremio 22 开始iceberg 已经成为了dremio 标配的ctas 操作了，而且同时也支持直接创建iceberg 表了，此功能整个是很强大 支持的操作 create 支持ctas 以及普通的create 操作 ctas create table mys3.demoapp.dalongt 阅读全文
posted @ 2022-07-01 00:41 荣锋亮 阅读(262) 评论(0) 推荐(0)
dremio 22 变动体验
摘要：
主要是验证下官方发布 ctas iceberg 成为默认 iceberg dml 操作 比如update, 真的比较强大了 sql 自动提示 是更加友好了 arrow cache 废弃了 支持对于table 添加主键 说明 以上只是简单的测试，详细的其他功能打开可以测试，目前来说22 版本还是很强大 阅读全文
posted @ 2022-06-30 00:50 荣锋亮 阅读(74) 评论(0) 推荐(0)
dremio 22 发布
摘要：
dremio 22 发布了（目前社区版下载以及源码暂时还没发布），新功能很多，也比较值得期待 新特性 iceberg dml 支持，支持了delete，update，merge 等操作，很强大 azure data explorer 数据源支持 sql 编辑器，自动提示 sql runner 保存s 阅读全文
posted @ 2022-06-27 08:05 荣锋亮 阅读(71) 评论(2) 推荐(0)
apache directory-fortress 基于rbac 的模块
摘要：
directory-fortress 属于apache directory 的子项目，实现了rbac 的能力 参考架构 说明 fortress 使用ldap 做为底层存储，实现了rbac 的能力，基于abac 可以更好的扩展 参考资料 https://github.com/apache/direct 阅读全文
posted @ 2022-06-26 22:30 荣锋亮 阅读(119) 评论(0) 推荐(0)
openmetadata abac 实现简单说明
摘要：
昨天简单说明了下，通过研究abac 发现abac 是比较强大的权限控制方案（相比常用的rbac 更加方便灵活） abac 参考落地方案 openmetadata 参考实体定义 openmetadata 的处理 pap， openmetadata 实现了admin api 以及ui，可以进行管理 pi 阅读全文
posted @ 2022-06-26 20:09 荣锋亮 阅读(483) 评论(0) 推荐(0)
openmetadata 权限设计学习
摘要：
openmetadata 早期版本权限是控制是比较弱的，0.8 之后提供了扩展能力，同时官方也提供了一篇文章介绍自己的实践以下是一些简单总结 openmetadata 的权限架构 参考图 知识点 参考了NIST 论文的内容 参考图 策略处理上先是基于casbin 搞了一个简单原型，然后基于了easy 阅读全文
posted @ 2022-06-26 00:52 荣锋亮 阅读(272) 评论(0) 推荐(0)
数据应用访问控制的一些参考资料
摘要：
我们如果需要开发一个数据的自助服务应用访问控制是比较复杂的，包含了多重因素 来自集成系统的 来自自身系统业务模型的 以上因素会加剧数据应用访问控制的复杂性，所以了解一些业界实践还是比较有用的，以下是一些参考资料值得学习下 参考资料 https://blog.satoricyber.com/askin 阅读全文
posted @ 2022-06-25 22:13 荣锋亮 阅读(102) 评论(0) 推荐(0)
kuwala 开源构建分析工作流开发的无代码数据平台
摘要：
一张参考图 从下图可以看出kuwala使用到的组件 说明 目前越来越多的数据平台都在集成dbt 以及singer 协议的etl （airbyte 就是扩展了singer），这几个工具还是值得学习的 参考资料 https://github.com/kuwala-io/kuwala 阅读全文
posted @ 2022-06-21 23:44 荣锋亮 阅读(303) 评论(0) 推荐(0)
amass OWASP开源的深入的攻击面映射和资产发现工具
摘要：
amass 从使用上来说属于一个安全工具，基于此工具我们可以发现一个潜在的安全问题 对于我们需要发现一些潜在安全隐患的时候是比较有用的，同时如果希望基于反向模式 的资产发现也是很有用的（比如cmdb） 参考使用 以下是被动发现一些owasp.org 的子域 amass enum -passive - 阅读全文
posted @ 2022-06-19 23:49 荣锋亮 阅读(396) 评论(0) 推荐(0)
citus 11 的一些参考资料
摘要：
citus 11 是一个完全开源的版本很值得使用学习，以下整理了一些资料可以参考 说明 资料中包含了不少关于10 版本的特性，基于此可以更好的了解citus 最近版本开源的能力 参考资料 https://www.citusdata.com/updates/v11-0/https://www.citu 阅读全文
posted @ 2022-06-18 23:39 荣锋亮 阅读(124) 评论(0) 推荐(0)
citus 11 参考简单使用
摘要：
基于官当的docker-compose 模板简单测试下citus 11 的查询特性，对于负载lb 基于了haproxy 测试说明 使用docker-compose 进行worker 节点的扩容，注意是先准备好的，实际使用的时候会基于管理sql 添加节点的 环境准备 docker-compose 文件 阅读全文
posted @ 2022-06-18 23:26 荣锋亮 阅读(400) 评论(0) 推荐(0)
citus 11 发布了
摘要：
citus 11 就在昨天ga 了，企业特性都开源了，以后可以高效无顾虑的使用citus ，官方博客发布的一片博客值得学习 核心部分 企业特性开源 任何节点可以查询分布式表 预览特性 分布式表的trigger 开源的企业核心特性 数据的重新分布使用了逻辑复制，避免了写入的阻塞 多用户支持（角色，授权 阅读全文
posted @ 2022-06-18 09:57 荣锋亮 阅读(159) 评论(0) 推荐(0)
dremio 增量反射处理
摘要：
我们可以基于dremio 的反射进行数据加速处理，dremio 支持全量以及增量，全量是比较简单的，dremio直接处理完整数据(当然会基于版本以及有效期处理，不是简单的直接删除，然后使用的，不然会影响业务的)，对于增量处理就比较复杂了 增量处理策略 对于文件系统，可以自动标识新的文件 对于其他数据 阅读全文
posted @ 2022-06-16 21:20 荣锋亮 阅读(206) 评论(0) 推荐(0)
k8s 自定义pod hosts的几种方法
摘要：
日常中我们可能会碰到不少关于自定义pod hosts的场景，对于不同的k8s 版本处理的不一样的 以下整理一些参考方法 自定义coredns 自定义coredns 可以直接让解析的域名使用coredns 处理，好处是可以全局生效，不好的地方就是全局可能会影响其他不需要自定义hosts的 扩展core 阅读全文
posted @ 2022-06-16 21:19 荣锋亮 阅读(1980) 评论(0) 推荐(0)
WunderGraph 组件
摘要：
WunderGraph 整体机制以前简单介绍过，以下简单说明下包含的组件 组件 wunderctl 创建部署以及管理WunderGraph应用 基于golang 编写，提供cli 能力，同时基于nodejs 包装为了一个npm包（在使用的时候基于github 进行二进制文件的下载） 提供的能力不少 阅读全文
posted @ 2022-06-12 20:40 荣锋亮 阅读(107) 评论(0) 推荐(0)
async-profiler convert 方便的jfr 转换工具
摘要：
async-profiler 是一个很不错的java 性能分析工具，同时也包含了一个方便的jfr 转换工具convert （当然不只是jfr，其他的比如collapsed stacks 也是支持的） 以下是一个简单的使用(用来分析dremio 的) 环境准备 dremio 生成jfr 文件 jfr 阅读全文
posted @ 2022-06-11 22:29 荣锋亮 阅读(314) 评论(0) 推荐(0)
几个不错的数据加速工具
摘要：
主要说明一些关于数据查询引擎、以及大数据加速的开源工具 alluxio 分布式虚拟机文件系统，可以用来加载数据访问，比较适合大数据，机器数据，数据湖查询。。。 juicefs 也是开源的基于golang 的对于对象存储的优化（当然也可以本地运行的，缺少分布式能力，需要一个元数据存储）目前来说支持机器 阅读全文
posted @ 2022-06-11 19:50 荣锋亮 阅读(397) 评论(0) 推荐(0)
dremio kernel 一些隐藏的配置
摘要：
具体配置参考sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java，我们研究学习下这些配置对于我们学习以及优化dremio 都是比较有用的，比如一些dremio 的默认参数就可以基于此调整了 简单配置截图 说明 dremio 的一些 阅读全文
posted @ 2022-06-11 10:19 荣锋亮 阅读(49) 评论(0) 推荐(0)
dremio 支持创建iceberg 的方法
摘要：
实际上在以前介绍dremio 21.1特性的时候我就简单说明过这个特性，但是没有运行起来，实际上是配置问题 参考玩法 配置iceberg alter system set dremio.iceberg.enabled = true; alter system set dremio.execution 阅读全文
posted @ 2022-06-11 10:02 荣锋亮 阅读(125) 评论(0) 推荐(0)
cube.js 配置json schema
摘要：
通过对与cube 配置的json schema 学习我们可以知道cube.js 都包含了那些扩展点，可以方便系统的扩容以及优化 内容 const schemaOptions = Joi.object().keys({ // server CreateOptions initApp: Joi.func 阅读全文
posted @ 2022-06-11 09:39 荣锋亮 阅读(124) 评论(0) 推荐(0)
cube.js 一些新配置参数
摘要：
cube.js 最近的一些变动还是不少的，包含了sql 处理以及graphql，目前看团队一直在发力sql 以及bi 周边的集成能力 一些新配置 sql auth 主要面向sql 处理的(sql endpoint) module.exports = { checkSqlAuth: (req, use 阅读全文
posted @ 2022-06-11 09:28 荣锋亮 阅读(160) 评论(0) 推荐(0)
浙公网安备 33010602011771号