荣锋亮 - 博客园

dremio 19.0 新特性

摘要：新特性 apache iceberg hive table 支持新的导航页面 pivot 以及unpivot 操作支持移除混合类型支持新job ui 做为默认其他bug修复 ui 分钟级别的反射可以直接通过配置使用了（以前是需要修改代码。。。。）移除了依赖arp 扩展的支持（所以以前开发的阅读全文

posted @ 2021-10-28 23:49 荣锋亮阅读(3) 评论(0) 推荐(0) 编辑

百度开源bfe 控制面板

摘要：主要包含了bfe agnent，bfe api server 以及bfe dashboard 组件通信图片来自官方文档说明 bfe 控制面板的开源可以简化我们进行bfe 的配置管理，目前配置的存储基于mysql db 的agent 主要是进行配置的拉取以及本地持久化有一点需要说明的是目前api 阅读全文

posted @ 2021-10-25 13:04 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

openmetadata 简单说明

摘要：来自官方的参考图参考架构实体模型 data asserts 主要包含了db，table，pipeline，dashboard，report 。。。。services 主要包含了data store ，data warehourse，etl 以及dashboardusers&teams 主要包含了阅读全文

posted @ 2021-10-24 22:06 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

openmetadata connector 开发简单说明

摘要：主要说明开发流程，后续说明具体的开发参考流程包含的内容（source，processor，sink）以及特殊的stage 以及bulksink wokrlfow 从source 过去record 如果 processor 配置了，workflow 发送数据到processor 如果配置多个pr 阅读全文

posted @ 2021-10-23 23:54 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

openmetadata es 存储安全认证添加

摘要： openmetadata 默认是没有安全控制的（比较危险），所以简单添加了下对于用户密码的支持（已经pr官方了，应该0.6版本会发布）需要修改的部分 python 的elasticsearch sink 部分以及rest server 的es 部分代码修改 rest api 部分主要是配置以及阅读全文

posted @ 2021-10-23 23:02 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

openmetadata 构建说明

摘要： openmetadata 不复杂而且比较简单，以下简单说明下预备 jdk 11， maven 构建 mvn clean install -Dmaven.test.skip // 直接构建还是推荐禁用test 说明：默认的编译文件在dist/target 下说明 openmetadata 源码构阅读全文

posted @ 2021-10-23 13:00 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

cube.js sql api 机制说明

摘要：以前有大概说明过关于cube.js sql 的原理，当时官方还没有问题，现在官方已经有资料说明了当前整体架构设计说明: cubeapi server 同时提供sql 以及rest 服务，同时cube sql 使用了node native 模块（基于rust 开发）开启的配置选项 CUBEJS_ 阅读全文

posted @ 2021-10-22 21:27 荣锋亮阅读(7) 评论(0) 推荐(0) 编辑

dremio 开启新job ui 的开关

摘要：参考配置 dremio.jobs.new.ui 效果说明目前的测试官方18.1 分钟级别的元数据刷新也是支持了参考资料 https://docs.dremio.com/advanced-administration/support-settings/ 阅读全文

posted @ 2021-10-19 12:27 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

nomad-pack nomad的仓库特性

摘要： nomad-pack 是nomad 新的一个特性，从介绍来说主要是实现类似helm 的能力，目前还处于预览状态说明在k8s 大行其道的时代nomad 的持续演进，而且很好的迭代，说明nomad 的能力还是很强大的，使用简单，而且也很强大参考资料 https://github.com/hashi 阅读全文

posted @ 2021-10-17 21:26 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

zalando 最新关于微前端的一些实践文章

摘要：主要是一个链接，内容很不错，很值得学习下整体参考架构 page 渲染处理参考资料 https://engineering.zalando.com/posts/2021/03/micro-frontends-part1.htmlhttps://engineering.zalando.com/pos 阅读全文

posted @ 2021-10-17 21:17 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

opencomponents web 集成

摘要：前边有简单运行了私服以下是web 集成说明私服环境准备参考https://www.cnblogs.com/rongfengliang/p/15417982.html demo 组件参考https://opencomponents.github.io/ 创建简单的 web 集成 index.ht 阅读全文

posted @ 2021-10-17 20:33 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

opencomponents 私服minio 模式运行

摘要： opencomponents 官方是提供了一个简单的私服核心的，我们可以自己构建部署（基于minio）运行环境准备 (minio s3) version: "3" services: s3: image: minio/minio environment: - "MINIO_ACCESS_KEY= 阅读全文

posted @ 2021-10-17 20:18 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

opencomponents 快速部署前端组件的工具

摘要： opencomponents可以加速web 组件的部署以及使用（特别适合微前端），设计理念很多参考了微服务的模式支持的模式也挺丰富（客户端渲染以及服务器端渲染），组件存储上使用了云存储（实际上也可以支持minio）参考架构参考使用安装工具 npm install -g oc oc init 阅读全文

posted @ 2021-10-17 08:43 荣锋亮阅读(16) 评论(0) 推荐(0) 编辑

dremio mysql arp integer 超出最大值的问题

摘要：这个问题在dremio 社区中有人提到，而且最近也发现了类似的问题，经过大致分析，主要是以前引起的原因 mysql arp mysql 数据类型与apache calcite 不一致主要问题的mysql 定义无符号的int 类型时候，解决方法可以通过修改arp yaml 文件中定义的数据类型映射阅读全文

posted @ 2021-10-16 22:36 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

cube.js bi connector 实现说明

摘要： cube.js 最近发布的版本支持bi connector 工具的链接（基于mysql 协议）以下是通过大体查看源码的一个整理参考图说明从上图可以看出mysql 协议的支持是基于rust 编写的,mysql服务都是利用了社区现有的sql 解析以及mysql 服务包msql-srv 进行mysq 阅读全文

posted @ 2021-10-15 09:41 荣锋亮阅读(21) 评论(0) 推荐(0) 编辑

cube.js 最新版本特性

摘要：最新版本（0.28.41）支持了一个很不错的特性（cube.js bi connector）原理上是基于mysql 协议扩展的(rust 开发) 新特性 cubejs-backend native 扩展 rust cube client sql connector （基于rust client+ 阅读全文

posted @ 2021-10-13 23:36 荣锋亮阅读(18) 评论(0) 推荐(0) 编辑

cube cloud集成git 模式说明二

摘要：以前有简单介绍过，cube cloud 集成git 的处理机制，通过研究做一些调整参考模式提交处理实例部署模式说明cube cloud 利用了容器进行部署，同时开发环境基于git 进行schema 管理，容器是通过数据卷挂载的模式（单机模式）git repo 与docker 实例是在一起的对阅读全文

posted @ 2021-10-10 09:35 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

cloud-git 扩展s3 存储支持说明

摘要：从原理上来说，实现还是比较简单的，主要是关于接口实现的问题，cloud-git 官方已经提供了相关的说明核心接口说明开发的扩展继承自GitRepository 接口实现说明 class GitRepository { // Must be overriden async getRefs(req) 阅读全文

posted @ 2021-10-09 22:00 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

扩展cloud-git 支持基于s3的git repo 管理的参考实现

摘要：这篇文章主要提供思路，具体的实现会在后边参考实现说明因为我们需要包含复杂的查询以及数据结构处理，而且基于s3所以直接选择了pixl-server-storage一个灵活强大的key-value 框架，同时直接支持基于s3的存储，这样我们开发起来就比较简单了，后边会使用类似的进行一个实际的开发阅读全文

posted @ 2021-10-06 19:35 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

express Graceful Shutdown 的几种方法

摘要：内容主要来自官方文档几种方法进程管理模式 const server = app.listen(port) process.on('SIGTERM', () => { debug('SIGTERM signal received: closing HTTP server') server.clos 阅读全文

posted @ 2021-10-06 19:24 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

基于开源工具提供real time api 的一个参考集成方案

摘要：参考架构方案组件说明核心还是利用了以上的开源组件进行集成，提供不同模式的real time 能力，基于分层的模式，有些是依赖中间件的，有些是依赖db的我们利用以上组件可以快速设计一个支持real time的api，当然没有银弹，集成需要代价，开源框架解决不了所有问题，合理集成，大胆扩展才可以很好阅读全文

posted @ 2021-10-06 18:39 荣锋亮阅读(13) 评论(0) 推荐(0) 编辑

danfojs 类似pandas 的js 数据分析框架

摘要： danfojs 是基于js 开发的类似pandas 的分析框架包含的特性快（基于tf）对于缺失数据处理简单强大的分析操作支持支持csv excel 文件的读取处理说明目前Packt 上一本关于danfojs 的书（有oreilly订阅的也可以直接下载学习。。。。）参考资料 https 阅读全文

posted @ 2021-10-06 11:58 荣锋亮阅读(21) 评论(0) 推荐(0) 编辑

cube cloud 集成git 部署模式的一个说明

摘要：以前也说过cube cloud 默认是自己的git server，但是我们可以集成github这里就有一个比较有意思的问题: 集成github 之后git 的push 操作只能在github 中git 的pull 操作可以在github 以及在我们切换github 之前cube cloud 提供的g 阅读全文

posted @ 2021-10-06 11:36 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

cloud-git 开发一个git server 试用

摘要： cloud-git 是基于nodejs 开发的一个express git 中间件，可以用来开发git server，以下是一个简单的使用 git server package.json { "name": "mygit", "version": "1.0.0", "main": "index.js" 阅读全文

posted @ 2021-10-06 11:15 荣锋亮阅读(9) 评论(0) 推荐(0) 编辑

garfish来自字节跳动的微前端框架

摘要： garfish 是来自字节跳动的微前端框架包含的特性跨框架支持（vue，react，angular。。。。） api 简单路由驱动（支持路由配置激活信息自动挂载以及销毁）说明目前官方文档以及更新还是比较频繁的，大致的了解看到还是很不错的，后边仔细研究下参考资料 https://garfi 阅读全文

posted @ 2021-10-06 11:06 荣锋亮阅读(397) 评论(0) 推荐(0) 编辑

开发自己的git server

摘要：整理了一些关于开发自己git server的资料可以参考（主要是在学习cube 等类似平台工具可以直接支持git 协议研究下）一些参考资料 https://github.com/sosedoff/gitkithttps://github.com/repoSpanner/repoSpannerhtt 阅读全文

posted @ 2021-10-06 10:32 荣锋亮阅读(16) 评论(0) 推荐(0) 编辑

cube cloud ga了

摘要： cube cloud 的速度还是很快的，就在昨天官方博客声明以及ga了,同时官方也简单介绍了下cube cloud 的工作机制以下是一个总结整理（关于官方部分的就不介绍了，主要是我通过尝试使用一些整理）多租户 cube cloud 的确是按照多租户的设计（基于iaas 层做的资源隔离，对于管理阅读全文

posted @ 2021-10-06 09:56 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

cube.js 基于http 通道的数据实时更新bug 解决

摘要：这个问题的原因核心还是官方在处理网络异常的是否没有进行异常处理，造成基于循环的数据获取处理了问题参考代码因为cube.js 实现了不同的transport http 的包含了http 的，ws 的包含了ws 的 http 的处理 class HttpTransport { constructor 阅读全文

posted @ 2021-10-02 22:01 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

cube.js 基于http 通道的数据实时更新

摘要：机制实际上与webscoket 类似，从原理上是使用了有个定时拉取的处理配置方法 cube.js module.exports = { orchestratorOptions: { queryCacheOptions: { refreshKeyRenewalThreshold: 4, } }, p 阅读全文

posted @ 2021-09-27 08:52 荣锋亮阅读(50) 评论(0) 推荐(0) 编辑

cube.js websocket 实时数据更新说明

摘要： cube.js 是支持数据实时更新的（基于websocket+refreshkey），以下是参考使用环境准备 docker-compose 文件 version: "3" services: postgres: image: postgres:12.1 environment: - POSTGRE 阅读全文

posted @ 2021-09-26 23:32 荣锋亮阅读(47) 评论(0) 推荐(0) 编辑

phpspy 进行php 项目性能分析

摘要： phpspy 是基于c 编写的利用了ptrace 的php 性能分析工具，支持apache ,fpm sapi 注意php 主要支持7.0+ 参考使用为了方便，构建了docker 镜像，大家可以直接使用支持的命令 docker run -it dalongrong/phpspy ./phpspy 阅读全文

posted @ 2021-09-21 14:08 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

使用groovy 下载maven依赖包

摘要：主要集成了groovy的grape maven 依赖注意groovy的grape需要依赖apache ivy <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmln 阅读全文

posted @ 2021-09-21 13:42 荣锋亮阅读(63) 评论(0) 推荐(0) 编辑

java 几个不错的代码生成工具

摘要：代码生成在日常开发中还是比较重要的，可以加速我们的业务开发可选解决方法基于模版引擎基于模版引擎的是比较简单的，而且模版引擎是比较多的优点: 对于代码生成只需要定义好模版，传递参数就可以了缺点: 很多时候需要完备的进行代码检查，不然产生的代码可能是有问题的，而且很多是否可以需要比较多的判断处阅读全文

posted @ 2021-09-21 13:30 荣锋亮阅读(45) 评论(0) 推荐(0) 编辑

语言性能分析工具总结

摘要：主要是一个总结，后续会持续完善参考图说明以上主要是集成了flamegraph 周边的一些工具，以及日常中不错的工具选择，大家可以参考使用，对于日常的黑盒系统基于此类工具还是很不错的参考资料 https://www.brendangregg.com/flamegraphs.html 阅读全文

posted @ 2021-09-14 22:07 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

使用rbspy 分析ruby应该性能

摘要：参考使用下载软件包，对于centos 7 有问题的可以尝试使用我构建的https://github.com/rongfengliang/rbspy-binary 命令 ./rbspy record -p 24759 效果问题 version `GLIBC_2.18' not found 使用官方阅读全文

posted @ 2021-09-14 13:16 荣锋亮阅读(21) 评论(0) 推荐(0) 编辑

dremio v18.0 软件包可以使用了

摘要：就在昨天官方提供了dremio 18 版本的社区版软件包，运行之后发现整体的ui 还是没有变动，对于混合类型的处理的确和官方的说法一致，当然实际运行之后与发布文档还是有区分的，肯定是有点问题说明对于官方的s3 以及ui 分钟级别的反射开启jar 包我也已经编译好了，可以直接使用，推荐暂时还是别直阅读全文

posted @ 2021-09-11 16:23 荣锋亮阅读(35) 评论(0) 推荐(0) 编辑

nginx rewrite查询字符串重写问题

摘要：请求格式 http://localhost/business/detail?itemId=123 重定向到: http://localhost/business123 参考配置 user root; events { worker_connections 1024; } http { include 阅读全文

posted @ 2021-09-09 21:32 荣锋亮阅读(32) 评论(0) 推荐(0) 编辑

PostgreSQL 12 Improvement: Benign Log Entries “Incomplete Startup Packet”

摘要：一个实际的问题，场景是基于haproxy 代理pg，数据库版本为10会有以上的问题，解决方法参考如下资料参考资料 https://www.percona.com/blog/2019/12/03/postgresql-12-improvement-benign-log-entries-incompl 阅读全文

posted @ 2021-09-09 21:31 荣锋亮阅读(26) 评论(0) 推荐(0) 编辑

dremio create table 几个特殊的能力

摘要： dremio 是支持create table的，官方文档比较简单，只说明了可以直接创建，但是dremio 的create table 其实是更加强大的如果使用了dremio的ui 的话，数据下载导出就是利用了这个能力，但是默认是在master中执行的，而且数据是放在一个固定的space中 __da 阅读全文

posted @ 2021-09-05 22:01 荣锋亮阅读(29) 评论(0) 推荐(0) 编辑

dremio 内置support key 说明

摘要：目前官方文档不是很全，好多support key 是没有包含的，以下是从官方代码支持的可以方便进行dremio 的管理（比如一些官方暂时没有说明的key。。。）参考代码路径: sabot/kernel/src/main/java/com/dremio/exec/planner/physical 阅读全文

posted @ 2021-09-05 01:11 荣锋亮阅读(31) 评论(0) 推荐(0) 编辑