荣锋亮 - 博客园

jdbc连接池工具与pg fdw连接的问题二

摘要：上次有简单介绍过关于pg fdw 对于使用连接池故障的问题，经过几天的调试以及摸索，印证了上次说的关于 sql 预编译处理的，目前测试发现主要是对于tds-fdw 扩展引起的异常比较严重，会造成db 异常，然后自动恢复，同时会造成连接异常，如果还需要使用连接池比较推荐使用hikari，需要我们阅读全文

posted @ 2020-10-15 20:29 荣锋亮阅读(358) 评论(0) 推荐(0)

apache ignite docker集群运行试用

摘要： apache ignite 是一个很不错的内存计算平台常见参考使用场景应用缓存加速数据集成hub 基于容器的集群环境部署环境准备说明为了方便基于静态ip发现的模式进行集群的搭建，关于静态ip配置，核心如下 <bean class="org.apache.ignite.spi.discove 阅读全文

posted @ 2020-10-14 19:18 荣锋亮阅读(1030) 评论(0) 推荐(0)

rr一款强大的应用请求录制以及回放框架

摘要： rr 由mozilla团队开发，可以进行应用进程以及线程的调用的录制以及回放，可以方便的进行应用的性能调试后边可以尝试使用下，同时此工具也是pg 官方关于追踪pg调用的工具参考资料 https://github.com/mozilla/rr https://rr-project.org/ htt 阅读全文

posted @ 2020-10-14 13:27 荣锋亮阅读(664) 评论(0) 推荐(0)

追踪postgres 后端调用情况

摘要：以下是篇文章来自官方文档，主要介绍下关于pg 系统如何调试后端调用情况的，后边好好研究下，最近刚好碰到一个关于pg fdw 调用的问题，可以学习下如果基于工具分析原因参考资料 https://wiki.postgresql.org/wiki/Getting_a_stack_trace_of_a_ 阅读全文

posted @ 2020-10-14 13:22 荣锋亮阅读(161) 评论(0) 推荐(0)

重置idea 配置的方法

摘要：今天在运行idea的时候发现idea突然不好使了（maven项目内置依赖管理处理问题了，代码提示有问题），直接使用maven 构建命令是没有问题的，直接想到重置默认配置，搜过一些资料发现都不太好事（mac 系统），后边发现了官方的一篇介绍文档，简单清晰参考操作图说明多看官方文档还是很重要的阅读全文

posted @ 2020-10-14 13:10 荣锋亮阅读(7456) 评论(5) 推荐(0)

jdbc连接池工具与pg fdw连接的问题

摘要：最近一个项目使用了postgres 的fdw 进行跨库的业务数查询分析，直接使用pg 的client 工具以及直接使用pg的datasource 实现PGSimpleDataSource测试都是没有问题的 pg fdw 使用参考因为项目默认使用了alibaba 的druid 连接池工具发现没请求几阅读全文

posted @ 2020-10-14 13:00 荣锋亮阅读(371) 评论(0) 推荐(0)

关于drill http存储插件http 超时的一些说明

摘要：默认http 存储插件的配置，参考 { "type": "http", "cacheResults": false, "connections": { "sunrise": { "url": "https://api.sunrise-sunset.org/json", "method": "GET" 阅读全文

posted @ 2020-10-12 23:36 荣锋亮阅读(255) 评论(0) 推荐(0)

tds-fdw PostgreSQL said: DB-Library error: DB #: 20002, DB Msg: Adaptive Server connection failed, OS #: 0, OS Msg: Success, Level: 9 问题解决.md

摘要：属于一个常见问题，解决方法还是查看日志，可以配置的参数配置sql ALTER SERVER mssql_svr OPTIONS (ADD msg_handler 'notice'); SET client_min_messages=DEBUG3; 通过以上配置参数我们可以方便的查看请求日志，进行问阅读全文

posted @ 2020-10-12 22:25 荣锋亮阅读(603) 评论(0) 推荐(0)

开发自己的jdbc驱动——可选开发工具

摘要：前边有简单介绍过关于jdbc驱动开发的说明，以下是一些简单的整理，提供关于快速开发jdbc的一些参考资料驱动开发的一些说明需要实现的接口以下的接口是需要实现的，除过Driver 接口一般都会创建一个抽象类进行扩展 Statement ResultSetMetaData ResultSet Pr 阅读全文

posted @ 2020-10-11 21:15 荣锋亮阅读(654) 评论(0) 推荐(0)

nexus Invalid state: DELETED; allowed: [STARTED] 问题解决

摘要：问题线上nexus因为误操作 blob存储，造成nexus 出现Invalid state: DELETED; allowed: [STARTED]，然后就是现有的nexus 也不能使用了（nexus服务异常）以下是参考的解决方法解决方法手工处理相关的blob存储，删除，同时重启nexus服阅读全文

posted @ 2020-10-10 11:35 荣锋亮阅读(1085) 评论(0) 推荐(0)

airline开发类似git cli 的jar 包

摘要： airline 是一个很不错的用来开发类似git cli 应用的jar包，使用简单，功能强大是一个值得使用的jar包类似的jar 包有jcommander，picocli，同时picocli也提供了一个比较完整的开源cli 工具比较文章很值得看看参考资料 https://github.com/ 阅读全文

posted @ 2020-10-09 22:52 荣锋亮阅读(262) 评论(0) 推荐(0)

开发自己的jdbc驱动——基本说明

摘要： jdbc目前支持4种类型的驱动模式参考如下图，我们需要开发的是type4 100%纯java代码的，以下只是简单的原型，实现一个比较完整的jdbc驱动，后续会逐步完成项目结构当前没有依赖任何三方包，对于包含了依赖的，对于驱动的如果使用maven项目推荐使用maven-shade-plugin 阅读全文

posted @ 2020-10-09 20:44 荣锋亮阅读(2587) 评论(0) 推荐(0)

nessie 安装&&简单试用

摘要：以下是关于nessie基于容器的简单运行试用环境准备 docker 运行 docker run -p 19120:19120 projectnessie/nessie 安装cli pip install pynessie 试用创建分支 nessie create-branch my_branch 阅读全文

posted @ 2020-10-08 22:28 荣锋亮阅读(549) 评论(0) 推荐(0)

nessie 类似git 管理数据湖

摘要： nessie 是由dremio团队开源的一个类似git 管理数据湖的系统方案支持的特性类似git 模式的版本管理跨表事物（基于iceberg）开放式的数据湖支持参考资料 https://projectnessie.org/ https://www.dremio.com/introducin 阅读全文

posted @ 2020-10-08 15:53 荣锋亮阅读(514) 评论(0) 推荐(0)

一些不错的开源大数据虚拟数据sql 查询引擎

摘要：以下就是一个简单的整理，核心在数据sql查询以及支持的联邦数据处理上 presto 一个通用的sql on anything 工具 apache drill 很不错的多数据源sql 查询引擎，schema on fly dremio 很不错，从官方文档看有点对标presto，但是dremio 更强大阅读全文

posted @ 2020-10-08 09:58 荣锋亮阅读(1504) 评论(2) 推荐(0)

What Is a Data Lake Engine?

摘要：转自:https://www.dremio.com/what-is-a-data-lake-engine/ A data lake engine is an open source software solution or cloud service that provides critical c 阅读全文

posted @ 2020-10-08 09:38 荣锋亮阅读(257) 评论(0) 推荐(0)

drill http 存储插件试用

摘要：以下是对于http 存储插件的试用环境准备 docker 启动drill (1.18.0 ) docker run -i --name drill-1.18.0 -p 8047:8047 -p 31010:31010 -p 31011:31011 -p 31012:31012 -t apache/ 阅读全文

posted @ 2020-10-06 21:22 荣锋亮阅读(302) 评论(0) 推荐(0)

apache drill 1.18.0 新特性

摘要： apache drill 1.18.0 在九月6号，发布了1.18.0 版本，目前官方文档更新的不是很及时，以下大概说明下新的特性 drill metadata 功能，这个文档有写到，可以加速drill 的查询处理，同时方便bi工具格式插件hdf5 http rest api 存储插件（很期待的功阅读全文

posted @ 2020-10-06 20:52 荣锋亮阅读(358) 评论(0) 推荐(0)

drill 学习十 drill rest api

摘要： drill 提供了web ui 以及rest api 我们基于rest api 可以开发相关的业务系统（不需要依赖jdbc 驱动）以下是简单梳理rest api 的使用（关于暴露的系统ui api 没有说明）查询 api 地址:POST /query.json 请求提内容 { "queryTyp 阅读全文

posted @ 2020-10-06 15:04 荣锋亮阅读(321) 评论(0) 推荐(0)

drill 学习九 drill性能优化-整体介绍

摘要：我们可以通过分析查询计划以及profiles 识别引起性能问题的原因，在识别了引起的原因之后我们可以尝试进行以下操作来解决: 修改查询计划选项修改广播 join选项在1/2 阶段聚合切换基于hash 的内存操作约束开启以及关闭开启查询队列控制并行度数据的组织以及分片的修剪修改存储格式阅读全文

posted @ 2020-10-06 09:16 荣锋亮阅读(360) 评论(0) 推荐(0)

drill 学习九 drill性能优化-Metastore

摘要：尽管drill 是schema on fly 的但是，提供scehma 以及统计信息可以加速drill 数据的处理，所以drill 1.17 添加了Metastore（基于iceberg tables）简单介绍模式感知执行的显着优势：在计划时间：更好的计划优化范围。由于类型已知，因此可以正阅读全文

posted @ 2020-10-05 23:19 荣锋亮阅读(370) 评论(0) 推荐(0)

apache iceberg 用于分析庞大数据集的开放格式

摘要： apche iceberg是一个开放标准，旨在解决庞大数据集的数据处理支持的特性可靠性 &&性能扫描计划速度快高级过滤支持acid 开放标准确保跨语言实现的兼容性参考资料 http://iceberg.apache.org/ 阅读全文

posted @ 2020-10-05 10:19 荣锋亮阅读(723) 评论(0) 推荐(0)

drill 学习八 drill information schema

摘要： drill 数据schema on fly 模式的，但是drill也提供了metadata tables 可以方便的查看数据源（或者schema） drill 提供的schema table schema catalogs tables columns views files partitions 阅读全文

posted @ 2020-10-05 09:47 荣锋亮阅读(293) 评论(0) 推荐(0)

drill 学习五配置说明- 多租户

摘要： drill 支持多用户共享同一个drillbit以及运行在独立drillbit节点的集群模式 drill可以与以下大数据工具运行在一起: mapreduce yarn hbase hive && pig spark 当我们与其他工具一起运行的时候需要关注：内存，cpu，以及磁盘的配置当用户共享dr 阅读全文

posted @ 2020-10-05 09:22 荣锋亮阅读(334) 评论(0) 推荐(0)

drill 学习七 drill jdbc 连接说明

摘要： drill 官方没有提供直接的jdbc支持，但是mapr 提供了一个下载jdbc 驱动可以直接在drill 的安装包提取，也可以在https://apache.osuosl.org/drill/ 地址下载 ## drill jdbc 连接格式 drill jdbc 驱动支持了多种模式的连接配置: 阅读全文

posted @ 2020-10-04 17:07 荣锋亮阅读(547) 评论(0) 推荐(0)

drill 学习六数据存储插件配置

摘要：具体可以参考以前整理的一个（比较简单，主要是关于常用数据库的） https://www.cnblogs.com/rongfengliang/p/6926009.html https://www.cnblogs.com/rongfengliang/p/6940485.html 说明官方文档对于存储插阅读全文

posted @ 2020-10-04 15:26 荣锋亮阅读(225) 评论(0) 推荐(0)

drill 学习五配置说明- 安全

摘要：安全是一个比较重要的，但是在实际的开发中，大家可能关注的不是很多，drill 安全配置包含：认证：基于Kerberos模式，用户密码模式，签名加密：基于Kerberos提供数据的保密以及一致性授权：当前主要基于hive 授权配置模拟用户模拟：配置模拟用户，配置入展模拟，使用hive配阅读全文

posted @ 2020-10-04 15:09 荣锋亮阅读(374) 评论(0) 推荐(0)

drill 学习五配置说明- 内存

摘要：关于 drill 的配置主要包含了：内存配置多租户配置安全配置性能以及功能配置查询profile以及数据配置配置内存配置 drill 使用包含了jvm 的直接内存，堆内存，核心使用最多的是直接内存，默认是8G，但是推荐配置更好（drill 高效使用了内存）大部分场景drill使用的是内阅读全文

posted @ 2020-10-04 11:38 荣锋亮阅读(451) 评论(0) 推荐(0)

drill 学习四 drill参考案例

摘要：具体案例来自官方文档，只是简单的说明下，详细的可以参考官方文档环境准备运行drill 测试环境可以通过docker运行，简单方便简单查询查询json文件 SELECT * FROM cp.`employee.json` LIMIT 3; 查询parquet文件 SELECT * FROM d 阅读全文

posted @ 2020-10-04 11:00 荣锋亮阅读(398) 评论(0) 推荐(0)

drill 学习三 drill 参考架构介绍二

摘要：前边有简单介绍过drill的整体设计，以下是关于查询执行处理的简单介绍drill 包含了一个foreman 组件 foreman 主要是进行会话以及sql 处理 sql 处理过程参考图：说明：从客户端或应用程序接收查询的Drillbit成为查询的foreman，并驱动整个查询。Foreman 阅读全文

posted @ 2020-10-04 08:13 荣锋亮阅读(425) 评论(0) 推荐(0)

drill 学习三 drill 参考架构介绍一

摘要：以前大概有介绍过drill，drill 是一个低延迟的分布式查询引擎，drill 的核心是 drillbit 服务该服务负责接受来自客户端的请求，同时处理查询并将结果返回给客户端参考通信架构图核心组件图 rpc endpoint 是一个低开销的，以及protobuf的rpc 通信处理，以及zk 阅读全文

posted @ 2020-10-03 22:23 荣锋亮阅读(446) 评论(0) 推荐(0)

drill 学习二 drill 运行模式简单说

摘要：测试环境的运行还是比较简单的，我们核心的是jvm drill 运行模式嵌入式模式比较适合测试（当然基于单机运行还是可以的,注意单机生产需要修改一些配置参数，很重要）运行命令 bin/drill-embedded 分布式集群模式依赖zk，我们需要安装zk，zk 的集群节点需要至少3个节点（奇数阅读全文

posted @ 2020-10-02 09:13 荣锋亮阅读(361) 评论(0) 推荐(0)

drill 学习一 drill 基本介绍

摘要： drill 是一个大数据sql 查询引擎（当然对于hdf也是支持写入的，我们的主要场景还是数据查询） drill 支持的数据格式 drill 支持的数据格式较多，以下是一个简单的说明 csv，tsv，psv或者其他任意用分隔符字段的数据（当然我们可以自己配置数据解析——通过存储插件配置选项） jso 阅读全文

posted @ 2020-10-02 09:02 荣锋亮阅读(1326) 评论(0) 推荐(0)

java 应用基于mongo driver监控简单说明

摘要： mongo java 版本的driver提供了比较多的metrics，我们之需要实现对应的Listener就可以方便的监控mongo 应用了，以下是一些简单的说明直接使用java driver 模式 public class TestCommandListener implements Comma 阅读全文

posted @ 2020-09-30 18:07 荣锋亮阅读(1008) 评论(0) 推荐(0)

Kubernetes Multi-Tenancy — A Best Practices Guide

摘要：转自:https://medium.com/faun/kubernetes-multi-tenancy-a-best-practices-guide-88e37ef2b709 Kubernetes multi-tenancy is a topic that more and more organiz 阅读全文

posted @ 2020-09-30 13:02 荣锋亮阅读(383) 评论(0) 推荐(0)

maven 项目打包不包含META_INF maven 的方法

摘要： maven 生成的jar 包不包含META_INF maven 的目的很简单，就是不打算暴露太多的关于maven profile 配置（可能会有敏感信息）解决方法参考自己的实际项目以及使用的构建方式添加addMavenDescriptor为false 的配置以下是一个spring boot 的阅读全文

posted @ 2020-09-30 12:08 荣锋亮阅读(3805) 评论(0) 推荐(0)

QRGen 一个灵活简单的java 二维码生成jar 包

摘要： QRGen 是基于ZXing 包装的一个二维码生成jar包，使用简单（一行代码搞定二维码）使用引用包 <repositories> <repository> <id>jitpack.io</id> <url>https://jitpack.io</url> </repository> </rep 阅读全文

posted @ 2020-09-29 20:50 荣锋亮阅读(887) 评论(0) 推荐(0)

token模式请求图片资源

摘要：场景很简单，主要是接口需要认证包括图片，但是使用了前后端分离的模式，所以直接基于src模式指定图片是有问题的（权限）解决方法认证模式使用cookie 但是在现有的设计中不太合理，也比较费事，因为使用了spring cloud 认证在gateway 重新请求指定src图片数据理论上肯定不能基于h 阅读全文

posted @ 2020-09-29 20:19 荣锋亮阅读(2249) 评论(0) 推荐(0)

扩展自定义spring boot prometheus metrics

摘要：实现原理很简单，主要是基于micrometer包装提供的MeterRegistry bean 进行扩展项目结构 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/ 阅读全文

posted @ 2020-09-29 17:52 荣锋亮阅读(2011) 评论(0) 推荐(0)

Managing PostgreSQL users and roles

摘要：转自:https://aws.amazon.com/cn/blogs/database/managing-postgresql-users-and-roles/,一篇很不错的介绍pg 权限的 PostgreSQL is one of the most popular open-source rela 阅读全文

posted @ 2020-09-29 16:34 荣锋亮阅读(402) 评论(0) 推荐(0)

导航

公告