荣锋亮 - 博客园

dremio job 处理流程参考

摘要：内容来自官方文档，可以了解dremio对于job 的处理参考图流程图说明上图还是比较有意义的，可以了解dremio内部的一些处理机制，以及状态转换，同时官方文档也包含了job的性能参数参考资料 https://docs.dremio.com/cloud/querying-data/jobs 阅读全文

posted @ 2022-02-26 14:51 荣锋亮阅读(90) 评论(0) 推荐(0)

dremio cloud 分层datasets 实践

摘要：内容来自官方文档，主要是一种玩法流程底层或者第一层，主要包含物理数据集第二层是虚拟数据集，属于一个基于上层进行了简单的数据加工处理（类型转换，字段重明），同时提供一些安全控制第三层，用户进行数据的join 以及其他昂贵操作，此层属于数据密集操作，一般会包含数据反射的添加（原始反射以及聚合反射阅读全文

posted @ 2022-02-26 14:33 荣锋亮阅读(80) 评论(0) 推荐(0)

dremio cloud 参考说明

摘要：最近dremio 官方网站调整了，ui 看着舒服多了，同时也提供了cloud的介绍参考架构从机制上与snowflake 比较类似 dremio cloud 包含的对象一个tree ，维护dremio 的基础数据以及vds，datasource 说明 dremio cloud 看着还是很强大的，阅读全文

posted @ 2022-02-26 14:21 荣锋亮阅读(81) 评论(0) 推荐(0)

dremio yarn 资源调度配置简单说明

摘要：以前简单说过一些关于yarn 运行的，对于在yarn 资源调度框架运行，dremio 需要的配置还是比较多的## 配置简单说明配置需要三大步骤，hadoop配置，dremio runtime 配置，yarn 调度资源配置，以下主要说明关于dremio 相关的协调节点 services: { co 阅读全文

posted @ 2022-02-26 11:44 荣锋亮阅读(89) 评论(0) 推荐(0)

dremio yarn 资源调度

摘要： dremio 是支持基于yarn 进行资源调度管理的，还是比较强大的参考架构部署简单说明协调节点部署在边缘，对于执行节点通过节点进行配置yarn 资源的处理，dremio 会依赖hadoop 的数据卷进行cahce 以及split 处理同时dremio 实现了watchdog 进行资源的清理（阅读全文

posted @ 2022-02-25 21:12 荣锋亮阅读(87) 评论(0) 推荐(0)

dremio 查询sql 执行参考流程

摘要：以下只列出部分关于sql 处理的调用链，方便学习以及开发自己的扩展 sql 查询流程这个是一个关于后台反射的处理过程 schema 获取的参考开发处理比如我们需要自己开发一个支持jdbc 驱动的arp 扩展，参考流程（以下几个函数是我们需要实现的）很多时候不见得就必须通过informatio 阅读全文

posted @ 2022-02-24 19:49 荣锋亮阅读(127) 评论(0) 推荐(0)

git rest api 操作代码的简单说明

摘要：对于基于rest api 进行git 操作相比使用git 自带工具实现起来考虑的东西就比较多了，codefever 目前暂时是不支持的 gogs web 操作处理（但是目前没提供rest api) 简单原理 gogs 对于web 文件编辑操作是基于了临时clone +添加文件本地提交+push 的阅读全文

posted @ 2022-02-24 13:05 荣锋亮阅读(466) 评论(0) 推荐(0)

基于golang cgi 实现一个简单的git http server

摘要：昨天基于openssh 实现了一个简单的git ssh 协议实现，现在基于git 的cgi 服务实现一个http 协议支持此方法实际上应该在好多开源git 项目系统中,直接使用了git 内置的http-backend （cgi） golang， nginx，apache，都是直接支持cgi 的阅读全文

posted @ 2022-02-23 20:12 荣锋亮阅读(529) 评论(0) 推荐(0)

几款开源git server ssh 协议forced command 参考格式

摘要： git over ssh authorized_keys 的force command 处理是比较重要也是核心的里边包含了权限处理，内部api 调用，git 上传下载处理 gitlab command="/opt/gitlab/embedded/service/gitlab-shell/bin/g 阅读全文

posted @ 2022-02-22 21:07 荣锋亮阅读(127) 评论(0) 推荐(0)

基于golang+openssh 服务实现一个简单的git over ssh 服务

摘要：昨天看了开源的codefever 以及以前简单学习过gogs，刚才学习下git over ssh 的实现机制基于openssh + golang （golang 部分参考了gogs 处理）实现了一个简单的git server （ssh 协议的）原理说明核心还是我们的openssh server 阅读全文

posted @ 2022-02-22 20:23 荣锋亮阅读(328) 评论(0) 推荐(0)

codefever git 协议处理简单说明

摘要： codefever关于git ssh 协议的处理与gitlab 的是大同小异的，都是基于了ssh 的command restriction （ forced command）当然gitlab 也支持了基于的AuthorizedKeysCommand，而且目前gitlab 也基于golang 开发了一阅读全文

posted @ 2022-02-21 23:05 荣锋亮阅读(135) 评论(0) 推荐(0)

openresty net::ERR_HTTP2_SERVER_REFUSED_STREAM 问题参考解决方法-续

摘要：主要还是今天碰到的关于nginx net::ERR_HTTP2_SERVER_REFUSED_STREAM 的问题事情的起因实际上以前应该问题是不大的，只是最近升级了openresty 到1.19.9 问题就在当前ga 版本的openresty 依赖的nginxcore 是基于1.19.9 的阅读全文

posted @ 2022-02-21 22:40 荣锋亮阅读(695) 评论(0) 推荐(0)

codefever蒲公英团队开源的git server

摘要： codefever是蒲公英团队开源的git server，核心基于php开发，同时也包含了部分基于golang 开发的工具参考运行环境准备 docker-compose 文件 version: '3' services: git: image: pgyer/codefever-community 阅读全文

posted @ 2022-02-21 21:47 荣锋亮阅读(581) 评论(0) 推荐(0)

dremio 连接gitbase

摘要： dremio 官方自带的驱动是不能直接连接gitbase的（因为使用了mariadb mysql 驱动的问题），以前我基于官方arp 开发了一个基于mysql 驱动的arp 扩展，对于doris 以及oceanbase 的支持都是比较好的，今天刚好测试了下gitbase的发现也是可以的，理论上do 阅读全文

posted @ 2022-02-21 20:03 荣锋亮阅读(66) 评论(0) 推荐(0)

openresty net::ERR_HTTP2_SERVER_REFUSED_STREAM 问题参考解决方法

摘要：实际上造成此问题的核心还是请求并发太大（实际的场景也是这样的，有一个大量的图片请求服务）环境说明一般大家部署nginx （openresty）的时候都会开启keepalive_timeout的，当前版本默认是75s，我们使用了65s 可选的优化方法禁用http2 如果搜索相关问题，会看到禁用h 阅读全文

posted @ 2022-02-21 18:22 荣锋亮阅读(2024) 评论(0) 推荐(0)

tapestry-pipeline 开源data pipeline 调度工具

摘要： tapestry-pipeline 是一个开源data pipeline 调度工具，内置的功能不少（date ingestion，tranformation，reverse ETL）参考架构说明目前来说tapestry-pipeline github start 并不是很多，但是设计还是很不错阅读全文

posted @ 2022-02-20 23:01 荣锋亮阅读(811) 评论(0) 推荐(0)

openmetadata 0.8 发布了

摘要：就在最近openmetadata 0.8 发布了，包含了不少新特性，主要涉及数据质量，访问控制策略，以及事件webhook同时也添加了新的connector 参考资料 https://docs.open-metadata.org/roadmaphttps://docs.open-metadata.o 阅读全文

posted @ 2022-02-20 14:35 荣锋亮阅读(205) 评论(0) 推荐(0)

pf4j 注入spring controller 的几种方法

摘要：核心还是基于RequestMappingHandlerMapping bean 进行controller 的创建方法一获取RequestMappingHandlerMapping bean 注册registerMapping 参考(参考伪代码) getMappingForMethod = Ref 阅读全文

posted @ 2022-02-20 14:05 荣锋亮阅读(542) 评论(0) 推荐(0)

grafana loki 2.4 简化服务部署

摘要： grafana loki 2.4 版本简化了集群部署的使用，实际上部署起来很简单了，而且系统扩容更方便了环境准备 docker-compose 文件 version: "3" networks: loki: services: read: image: grafana/loki:2.4.2 com 阅读全文

posted @ 2022-02-19 20:09 荣锋亮阅读(688) 评论(0) 推荐(0)

sbp 基于 pf4j开发的spring boot 扩展框架

摘要： sbp 是一个值得学习的，因为官方的spring 扩展不是很用，而且也有不少问题sbp 解决了不少默认spring 扩展的问题参考资料 https://github.com/hank-cp/sbp 阅读全文

posted @ 2022-02-18 22:50 荣锋亮阅读(1219) 评论(0) 推荐(0)

pf4j spring 集成几个问题

摘要：以下整理几个实际使用碰到的问题问题 Caused by: java.lang.LinkageError: loader constraint violation: loader (instance of org/pf4j/PluginClassLoader) previously initiate 阅读全文

posted @ 2022-02-18 20:51 荣锋亮阅读(853) 评论(0) 推荐(0)

pf4j spring 扩展原理简单说明

摘要： pf4j spring 扩展是一个很不错的spring 集成扩展，可以方便我们将pf4j集成到spring 应用中主要使用的技术动态bean注册，核心代码并不难，目前来说实现比较简单，而且不是很强大几个核心类 ExtensionsInjector 主要方便注入SpringPluginManag 阅读全文

posted @ 2022-02-17 23:38 荣锋亮阅读(839) 评论(0) 推荐(0)

gitbase jdbc 连接简单说明

摘要：以下是Hikari 连接gitbase 的一个简单说明，可以参考，同时附带解决问题的思路参考代码 spring bean @Bean public DataSource dataSource(){ HikariConfig config = new HikariConfig(); config.s 阅读全文

posted @ 2022-02-17 21:34 荣锋亮阅读(211) 评论(0) 推荐(0)

pf4j zip 插件的处理

摘要： pf4j 对于zip 插件会先进行解压处理的，主要核心是基于PluginRepository 处理的目前官方已经包含了不少实现核心处理参考代码 pf4j/src/main/java/org/pf4j/AbstractPluginManager.java 方法 @Override public 阅读全文

posted @ 2022-02-17 13:04 荣锋亮阅读(233) 评论(0) 推荐(0)

pf4j 官方几个比较有用的扩展

摘要： pf4j spring 是一个集成spring 很不错的选择，官方出品，就是有点简单pf4j update 是一个支持插件下载，更新，管理的服务，很不错说明当然官方还提供了web 以及其他的都还不错参考资料 https://github.com/pf4j/pf4j-springhttps:// 阅读全文

posted @ 2022-02-16 23:15 荣锋亮阅读(379) 评论(0) 推荐(0)

pf4j 类加载顺序简单说明

摘要： pf4j 具有类隔离特性参考代码 pf4j/src/main/java/org/pf4j/ClassLoadingStrategy.java pf4j/src/main/java/org/pf4j/PluginClassLoader.java pf4j/src/main/java/org/pf4j 阅读全文

posted @ 2022-02-16 21:37 荣锋亮阅读(566) 评论(0) 推荐(0)

pf4j 插件加载机制

摘要：主要简单说明下pf4j 的插件加载处理参考代码 pf4j/src/main/java/org/pf4j/AbstractPluginManager.java 加载代码 loadPlugins 处理加载处理 @Override public void loadPlugins() { log.deb 阅读全文

posted @ 2022-02-16 19:16 荣锋亮阅读(714) 评论(0) 推荐(0)

pf4j 默认系统扩展以及机制说明

摘要： pf4j 支持直接在应用中进行插件的开发以及运行（不需要复杂的处理）与serviceloader 比较类似，我么只需要添加一个注解就可以了（@Extension）参考运行 public static void main(String[] args) { PluginManager pluginM 阅读全文

posted @ 2022-02-16 19:15 荣锋亮阅读(439) 评论(0) 推荐(0)

pf4j 默认插件打包模式

摘要： pf4j 进行插件打包方法不少，比如fat jar 的，zip 文件的，以及文件夹的扩展支持的模式 jar 模式（官方推荐的模式，对于依赖可以基于shared插件解决，注意对于契约服务scope 使用provide模式，不然插件运行会有问题，目前版本测试）参考配置(shade 插件) <plug 阅读全文

posted @ 2022-02-16 19:14 荣锋亮阅读(537) 评论(0) 推荐(0)

pf4j +juicefs 参考玩法

摘要：主要是一种集成尝试参考图简单说明我们可以一个简单的plugin 入口，基于pf4j插件机制开发插件，使用juicefs 进行插件管理，然后挂载到不同的路径中（按照服务拆分）对于插件我们可以直接开发一个管理api 进行扩展，也可以使用pf4j 的update扩展，集成起来还是很不错的，实现服务的阅读全文

posted @ 2022-02-15 22:04 荣锋亮阅读(173) 评论(0) 推荐(0)

pf4j 试用

摘要： pf4j 试用上还是比较灵活的，并没有太多的配置，而且比较灵活，支持类隔离参考项目项目结构 ├── README.md ├── bootstrap // 启动入口，使用了assembly 进行打包，当然对图spring 项目也是可以的 │ ├── pom.xml │ └── src │ ├── 阅读全文

posted @ 2022-02-15 21:52 荣锋亮阅读(1008) 评论(0) 推荐(0)

dremio的分布式存储简单说明

摘要： dremio 的pdfs 在系统中是一个比较重要的东西，dremio 的加速，上传，下载，查询结果，scratch 空间都是存储在这个里边的，没有配置的话，默认是在 paths.local 中, 同时官方支持多种文件存储（nas，hdfs，mapr-fs，s3，azure data lake，azu 阅读全文

posted @ 2022-02-14 20:23 荣锋亮阅读(452) 评论(0) 推荐(0)

wait-for-it rpm 包

摘要： wait-for-it rpm 很不错，目前只有debian 的没有rpm的包，所以制作了一个基于fpm 方法 git clone https://github.com/vishnubob/wait-for-it.git chmod +x wait-for-it/wait-for-it.sh fpm 阅读全文

posted @ 2022-02-13 23:50 荣锋亮阅读(36) 评论(0) 推荐(0)

wait-for-it 基于shell 的tcp 状态检测工具

摘要： wait-for-it 是一个很不错的linux tcp 检测工具，基于shell编写，好多项目都有用到，而且目前还有debian包说明我们在容器环境中，类似的功能需要是比较常见的，等待几次，或者一段时间之后检查tcp服务状态，之后执行一段通知或者脚本很值得使用，目前包含了debian包，我们可阅读全文

posted @ 2022-02-13 22:57 荣锋亮阅读(184) 评论(0) 推荐(0)

pf4j 轻量强大的java 插件框架

摘要： pf4j 一个强大的java 插件框架支持的特性可以灵活的让单体系统转化为模块化系统轻量，只依赖sl4j-api 以及java-semver，扩展灵活包含的组件 Plugins 所有插件基类 PluginManager，抽象插件管理 PluginLoader 插件加载 ExtensionPo 阅读全文

posted @ 2022-02-13 22:31 荣锋亮阅读(3001) 评论(0) 推荐(0)

lakefs 集成presto/trinodb

摘要： presto 集成lakefs 主要利用了hive connector 预备需要hive metadata docker-compose version: "3" services: lakefs: image: "treeverse/lakefs:${VERSION:-latest}" port 阅读全文

posted @ 2022-02-13 22:04 荣锋亮阅读(168) 评论(0) 推荐(0)

hive metadata 容器镜像

摘要： hive 3.0 之后metadata 是可以支持独立部署的，可以方便开源社区好多工具支持使用以下是一个参考的docker镜像以及运行参考使用 version: "3" services: mariadb: image: mariadb:10 container_name: mariadb po 阅读全文

posted @ 2022-02-12 23:07 荣锋亮阅读(270) 评论(0) 推荐(0)

lakefs metadata 集成

摘要： lakefs 为了更好的支持hive 以及glue单独开发了metadata 同步的命令（基于metadata 的thrift rpc 协议）主要解决的问题比如我们在main分支创建了table，然后我们开发了dev 分支，如果基于hive 的metadata 进行数据查询就有问题了此时就可以阅读全文

posted @ 2022-02-12 21:57 荣锋亮阅读(83) 评论(0) 推荐(0)

lakefs 周边生态集成

摘要： lakefs 集成的周边还是很多的，核心还是利用了s3 的特性，核心主要玩法以下直接利用s3特性比如delta lake，spark,airbyte,kafka,dremio 基于hdfs 使用s3a扩展进行hdfs集成 hive 元数据集成实际上还是s3 的特性，只是基于git 的特性扩展了阅读全文

posted @ 2022-02-12 21:14 荣锋亮阅读(201) 评论(0) 推荐(0)

lakefs 监控

摘要： lakefs 提供了prometheus 的metrics 用来搞监控还是很方便的，而且强大，可以做到性能报警目前提供的metrics api 请求总数 api 请求延迟 gateway 请求延迟（s3） s3 操作延迟 gs、azure 操作 go_sql 操作（基于sqlstats）参考资料阅读全文

posted @ 2022-02-12 11:45 荣锋亮阅读(77) 评论(0) 推荐(0)

导航

公告