上一页 1 ··· 68 69 70 71 72 73 74 75 76 ··· 135 下一页

2020年10月15日

jdbc连接池工具与pg fdw连接的问题 二

摘要: 上次有简单介绍过关于pg fdw 对于使用连接池故障的问题,经过几天的调试以及摸索 ,印证了上次说的关于 sql 预编译处理的,目前测试发现主要是对于tds-fdw 扩展引起的异常比较严重,会造成db 异常 ,然后自动恢复, 同时会造成连接异常,如果还需要使用连接池比较推荐使用hikari,需要我们 阅读全文

posted @ 2020-10-15 20:29 荣锋亮 阅读(358) 评论(0) 推荐(0)

2020年10月14日

apache ignite docker集群运行试用

摘要: apache ignite 是一个很不错的内存计算平台 常见参考使用场景 应用缓存加速 数据集成hub 基于容器的集群环境部署 环境准备 说明为了方便基于静态ip发现的模式进行集群的搭建,关于静态ip配置,核心如下 <bean class="org.apache.ignite.spi.discove 阅读全文

posted @ 2020-10-14 19:18 荣锋亮 阅读(1030) 评论(0) 推荐(0)

rr一款强大的应用请求录制以及回放框架

摘要: rr 由mozilla团队开发,可以进行应用进程以及线程的调用的录制以及回放,可以方便的进行应用的性能调试 后边可以尝试使用下,同时此工具也是pg 官方关于追踪pg调用的工具 参考资料 https://github.com/mozilla/rr https://rr-project.org/ htt 阅读全文

posted @ 2020-10-14 13:27 荣锋亮 阅读(664) 评论(0) 推荐(0)

追踪postgres 后端调用情况

摘要: 以下是篇文章来自官方文档,主要介绍下关于pg 系统如何调试后端调用情况的,后边好好研究下,最近刚好 碰到一个关于pg fdw 调用的问题,可以学习下如果基于工具分析原因 参考资料 https://wiki.postgresql.org/wiki/Getting_a_stack_trace_of_a_ 阅读全文

posted @ 2020-10-14 13:22 荣锋亮 阅读(161) 评论(0) 推荐(0)

重置idea 配置的方法

摘要: 今天在运行idea的时候发现idea突然不好使了(maven项目内置依赖管理处理问题了,代码提示有问题),直接使用maven 构建命令是没有问题的,直接想到重置默认配置,搜过一些资料发现都不太好事(mac 系统 ),后边发现了官方的一篇介绍 文档,简单清晰 参考操作图 说明 多看官方文档还是很重要的 阅读全文

posted @ 2020-10-14 13:10 荣锋亮 阅读(7456) 评论(5) 推荐(0)

jdbc连接池工具与pg fdw连接的问题

摘要: 最近一个项目使用了postgres 的fdw 进行跨库的业务数查询分析,直接使用pg 的client 工具以及直接使用pg的datasource 实现PGSimpleDataSource测试都是没有问题的 pg fdw 使用参考 因为项目默认使用了alibaba 的druid 连接池工具发现没请求几 阅读全文

posted @ 2020-10-14 13:00 荣锋亮 阅读(371) 评论(0) 推荐(0)

2020年10月12日

关于drill http存储插件http 超时的一些说明

摘要: 默认http 存储插件的配置,参考 { "type": "http", "cacheResults": false, "connections": { "sunrise": { "url": "https://api.sunrise-sunset.org/json", "method": "GET" 阅读全文

posted @ 2020-10-12 23:36 荣锋亮 阅读(255) 评论(0) 推荐(0)

tds-fdw PostgreSQL said: DB-Library error: DB #: 20002, DB Msg: Adaptive Server connection failed, OS #: 0, OS Msg: Success, Level: 9 问题解决.md

摘要: 属于一个常见问题,解决方法还是查看日志,可以配置的参数 配置sql ALTER SERVER mssql_svr OPTIONS (ADD msg_handler 'notice'); SET client_min_messages=DEBUG3; 通过以上配置参数我们可以方便的查看请求日志,进行问 阅读全文

posted @ 2020-10-12 22:25 荣锋亮 阅读(603) 评论(0) 推荐(0)

2020年10月11日

开发自己的jdbc驱动——可选开发工具

摘要: 前边有简单介绍过关于jdbc驱动开发的说明,以下是一些简单的整理,提供关于快速开发jdbc的一些参考资料 驱动开发的一些说明 需要实现的接口 以下的接口是需要实现的,除过Driver 接口一般都会创建一个抽象类进行扩展 Statement ResultSetMetaData ResultSet Pr 阅读全文

posted @ 2020-10-11 21:15 荣锋亮 阅读(654) 评论(0) 推荐(0)

2020年10月10日

nexus Invalid state: DELETED; allowed: [STARTED] 问题解决

摘要: 问题 线上nexus因为误操作 blob存储,造成nexus 出现Invalid state: DELETED; allowed: [STARTED],然后就是现有的nexus 也不能使用了(nexus服务异常) 以下是参考的解决方法 解决方法 手工处理相关的blob存储,删除,同时重启nexus服 阅读全文

posted @ 2020-10-10 11:35 荣锋亮 阅读(1085) 评论(0) 推荐(0)

2020年10月9日

airline开发类似git cli 的jar 包

摘要: airline 是一个很不错的用来开发类似git cli 应用的jar包,使用简单,功能强大是一个值得使用的jar包 类似的jar 包有jcommander,picocli,同时picocli也提供了一个比较完整的开源cli 工具比较文章很值 得看看 参考资料 https://github.com/ 阅读全文

posted @ 2020-10-09 22:52 荣锋亮 阅读(262) 评论(0) 推荐(0)

开发自己的jdbc驱动——基本说明

摘要: jdbc目前支持4种类型的驱动模式 参考如下图,我们需要开发的是type4 100%纯java代码的,以下只是简单的原型,实现一个比较完整的jdbc驱动,后续会逐步完成 项目结构 当前没有依赖任何三方包,对于包含了依赖的,对于驱动的如果使用maven项目推荐使用maven-shade-plugin 阅读全文

posted @ 2020-10-09 20:44 荣锋亮 阅读(2587) 评论(0) 推荐(0)

2020年10月8日

nessie 安装&&简单试用

摘要: 以下是关于nessie基于容器的简单运行试用 环境准备 docker 运行 docker run -p 19120:19120 projectnessie/nessie 安装cli pip install pynessie 试用 创建分支 nessie create-branch my_branch 阅读全文

posted @ 2020-10-08 22:28 荣锋亮 阅读(549) 评论(0) 推荐(0)

nessie 类似git 管理数据湖

摘要: nessie 是由dremio团队开源的一个类似git 管理数据湖的系统方案 支持的特性 类似git 模式的版本管理 跨表事物(基于iceberg) 开放式的数据湖支持 参考资料 https://projectnessie.org/ https://www.dremio.com/introducin 阅读全文

posted @ 2020-10-08 15:53 荣锋亮 阅读(514) 评论(0) 推荐(0)

一些不错的开源大数据虚拟数据sql 查询引擎

摘要: 以下就是一个简单的整理,核心在数据sql查询以及支持的联邦数据处理上 presto 一个通用的sql on anything 工具 apache drill 很不错的多数据源sql 查询引擎,schema on fly dremio 很不错,从官方文档看有点对标presto,但是dremio 更强大 阅读全文

posted @ 2020-10-08 09:58 荣锋亮 阅读(1504) 评论(2) 推荐(0)

What Is a Data Lake Engine?

摘要: 转自:https://www.dremio.com/what-is-a-data-lake-engine/ A data lake engine is an open source software solution or cloud service that provides critical c 阅读全文

posted @ 2020-10-08 09:38 荣锋亮 阅读(257) 评论(0) 推荐(0)

2020年10月6日

drill http 存储插件试用

摘要: 以下是对于http 存储插件的试用 环境准备 docker 启动drill (1.18.0 ) docker run -i --name drill-1.18.0 -p 8047:8047 -p 31010:31010 -p 31011:31011 -p 31012:31012 -t apache/ 阅读全文

posted @ 2020-10-06 21:22 荣锋亮 阅读(302) 评论(0) 推荐(0)

apache drill 1.18.0 新特性

摘要: apache drill 1.18.0 在九月6号,发布了1.18.0 版本,目前官方文档更新的不是很及时,以下大概说明下新的特性 drill metadata 功能,这个文档有写到,可以加速drill 的查询处理,同时方便bi工具 格式插件hdf5 http rest api 存储插件(很期待的功 阅读全文

posted @ 2020-10-06 20:52 荣锋亮 阅读(358) 评论(0) 推荐(0)

drill 学习 十 drill rest api

摘要: drill 提供了web ui 以及rest api 我们基于rest api 可以开发相关的业务系统(不需要依赖jdbc 驱动) 以下是简单梳理rest api 的使用(关于暴露的系统ui api 没有说明) 查询 api 地址:POST /query.json 请求提内容 { "queryTyp 阅读全文

posted @ 2020-10-06 15:04 荣锋亮 阅读(321) 评论(0) 推荐(0)

drill 学习 九 drill性能优化-整体介绍

摘要: 我们可以通过分析查询计划以及profiles 识别引起性能问题的原因,在识别了引起的原因之后我们可以 尝试进行以下操作来解决: 修改查询计划选项 修改广播 join选项 在1/2 阶段聚合切换 基于hash 的内存操作约束开启以及关闭 开启查询队列 控制并行度 数据的组织以及分片的修剪 修改存储格式 阅读全文

posted @ 2020-10-06 09:16 荣锋亮 阅读(360) 评论(0) 推荐(0)

2020年10月5日

drill 学习 九 drill性能优化-Metastore

摘要: 尽管drill 是schema on fly 的但是,提供scehma 以及统计信息可以加速drill 数据的处理,所以drill 1.17 添加了Metastore(基于iceberg tables) 简单介绍 模式感知执行的显着优势: 在计划时间: 更好的计划优化范围。 由于类型已知,因此可以正 阅读全文

posted @ 2020-10-05 23:19 荣锋亮 阅读(370) 评论(0) 推荐(0)

apache iceberg 用于分析庞大数据集的开放格式

摘要: apche iceberg是一个开放标准,旨在解决庞大数据集的数据处理 支持的特性 可靠性 &&性能 扫描计划速度快 高级过滤 支持acid 开放标准 确保跨语言实现的兼容性 参考资料 http://iceberg.apache.org/ 阅读全文

posted @ 2020-10-05 10:19 荣锋亮 阅读(723) 评论(0) 推荐(0)

drill 学习 八 drill information schema

摘要: drill 数据schema on fly 模式的,但是drill也提供了metadata tables 可以 方便的查看数据源(或者schema) drill 提供的schema table schema catalogs tables columns views files partitions 阅读全文

posted @ 2020-10-05 09:47 荣锋亮 阅读(293) 评论(0) 推荐(0)

drill 学习 五 配置说明- 多租户

摘要: drill 支持多用户共享同一个drillbit以及运行在独立drillbit节点的集群模式 drill可以与以下大数据工具运行在一起: mapreduce yarn hbase hive && pig spark 当我们与其他工具一起运行的时候需要关注:内存,cpu,以及磁盘的配置 当用户共享dr 阅读全文

posted @ 2020-10-05 09:22 荣锋亮 阅读(334) 评论(0) 推荐(0)

2020年10月4日

drill 学习 七 drill jdbc 连接说明

摘要: drill 官方没有提供直接的jdbc支持,但是mapr 提供了一个 下载jdbc 驱动 可以直接在drill 的安装包提取,也可以在https://apache.osuosl.org/drill/ 地址下载 ## drill jdbc 连接格式 drill jdbc 驱动支持了多种模式的连接配置: 阅读全文

posted @ 2020-10-04 17:07 荣锋亮 阅读(547) 评论(0) 推荐(0)

drill 学习 六 数据存储插件配置

摘要: 具体可以参考以前整理的一个(比较简单,主要是关于常用数据库的) https://www.cnblogs.com/rongfengliang/p/6926009.html https://www.cnblogs.com/rongfengliang/p/6940485.html 说明 官方文档对于存储插 阅读全文

posted @ 2020-10-04 15:26 荣锋亮 阅读(225) 评论(0) 推荐(0)

drill 学习 五 配置说明- 安全

摘要: 安全是一个比较重要的,但是在实际的开发中,大家可能关注的不是很多,drill 安全配置包含: 认证: 基于Kerberos模式,用户密码模式,签名 加密: 基于Kerberos提供数据的保密以及一致性 授权: 当前主要基于hive 授权配置模拟用户 模拟: 配置模拟用户,配置入展模拟,使用hive配 阅读全文

posted @ 2020-10-04 15:09 荣锋亮 阅读(374) 评论(0) 推荐(0)

drill 学习 五 配置说明- 内存

摘要: 关于 drill 的配置主要包含了: 内存配置 多租户配置 安全配置 性能以及功能配置 查询profile以及数据配置配置 内存配置 drill 使用包含了jvm 的直接内存,堆内存,核心使用最多的是直接内存,默认是8G,但是推荐配置更好(drill 高效使用了内存) 大部分场景drill使用的是内 阅读全文

posted @ 2020-10-04 11:38 荣锋亮 阅读(451) 评论(0) 推荐(0)

drill 学习 四 drill参考案例

摘要: 具体案例来自官方文档,只是简单的说明下,详细的可以参考官方文档 环境准备 运行drill 测试环境可以通过docker运行,简单方便 简单查询 查询json文件 SELECT * FROM cp.`employee.json` LIMIT 3; 查询parquet文件 SELECT * FROM d 阅读全文

posted @ 2020-10-04 11:00 荣锋亮 阅读(398) 评论(0) 推荐(0)

drill 学习 三 drill 参考架构介绍二

摘要: 前边有简单介绍过drill的整体设计,以下是关于查询执行处理的简单介绍drill 包含了一个foreman 组件 foreman 主要 是进行会话以及sql 处理 sql 处理过程 参考图: 说明: 从客户端或应用程序接收查询的Drillbit成为查询的foreman,并驱动整个查询。Foreman 阅读全文

posted @ 2020-10-04 08:13 荣锋亮 阅读(425) 评论(0) 推荐(0)

2020年10月3日

drill 学习 三 drill 参考架构介绍一

摘要: 以前大概有介绍过drill,drill 是一个低延迟的分布式查询引擎,drill 的核心是 drillbit 服务 该服务负责接受来自客户端的请求,同时处理查询并将结果返回给客户端 参考通信架构图 核心组件图 rpc endpoint 是一个低开销的,以及protobuf的rpc 通信处理,以及zk 阅读全文

posted @ 2020-10-03 22:23 荣锋亮 阅读(446) 评论(0) 推荐(0)

2020年10月2日

drill 学习 二 drill 运行模式简单说

摘要: 测试环境的运行还是比较简单的,我们核心的是jvm drill 运行模式 嵌入式模式 比较适合测试(当然基于单机运行还是可以的,注意单机生产需要修改一些配置参数,很重要) 运行命令 bin/drill-embedded 分布式集群模式 依赖zk,我们需要安装zk,zk 的集群节点需要至少3个节点(奇数 阅读全文

posted @ 2020-10-02 09:13 荣锋亮 阅读(361) 评论(0) 推荐(0)

drill 学习 一 drill 基本介绍

摘要: drill 是一个大数据sql 查询引擎(当然对于hdf也是支持写入的,我们的主要场景还是数据查询) drill 支持的数据格式 drill 支持的数据格式较多,以下是一个简单的说明 csv,tsv,psv或者其他任意用分隔符字段的数据(当然我们可以自己配置数据解析——通过存储插件配置选项) jso 阅读全文

posted @ 2020-10-02 09:02 荣锋亮 阅读(1326) 评论(0) 推荐(0)

2020年9月30日

java 应用基于mongo driver监控简单说明

摘要: mongo java 版本的driver提供了比较多的metrics,我们之需要实现对应的Listener就可以方便的监控mongo 应用了,以下是一些简单的说明 直接使用java driver 模式 public class TestCommandListener implements Comma 阅读全文

posted @ 2020-09-30 18:07 荣锋亮 阅读(1008) 评论(0) 推荐(0)

Kubernetes Multi-Tenancy — A Best Practices Guide

摘要: 转自:https://medium.com/faun/kubernetes-multi-tenancy-a-best-practices-guide-88e37ef2b709 Kubernetes multi-tenancy is a topic that more and more organiz 阅读全文

posted @ 2020-09-30 13:02 荣锋亮 阅读(383) 评论(0) 推荐(0)

maven 项目打包不包含META_INF maven 的方法

摘要: maven 生成的jar 包不包含META_INF maven 的目的很简单,就是不打算暴露太多的关于maven profile 配置(可能会有敏感信息) 解决方法 参考自己的实际项目以及使用的构建方式添加addMavenDescriptor为false 的配置 以下是一个spring boot 的 阅读全文

posted @ 2020-09-30 12:08 荣锋亮 阅读(3805) 评论(0) 推荐(0)

2020年9月29日

QRGen 一个灵活简单的java 二维码生成jar 包

摘要: QRGen 是基于ZXing 包装的一个二维码生成jar包,使用简单(一行代码搞定二维码) 使用 引用包 <repositories> <repository> <id>jitpack.io</id> <url>https://jitpack.io</url> </repository> </rep 阅读全文

posted @ 2020-09-29 20:50 荣锋亮 阅读(887) 评论(0) 推荐(0)

token模式请求图片资源

摘要: 场景很简单,主要是接口需要认证包括图片,但是使用了前后端分离的模式,所以直接基于src模式指定图片是有问题的(权限) 解决方法 认证模式使用cookie 但是在现有的设计中不太合理,也比较费事,因为使用了spring cloud 认证在gateway 重新请求指定src图片数据 理论上肯定不能基于h 阅读全文

posted @ 2020-09-29 20:19 荣锋亮 阅读(2249) 评论(0) 推荐(0)

扩展自定义spring boot prometheus metrics

摘要: 实现原理很简单,主要是基于micrometer包装提供的MeterRegistry bean 进行扩展 项目结构 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/ 阅读全文

posted @ 2020-09-29 17:52 荣锋亮 阅读(2011) 评论(0) 推荐(0)

Managing PostgreSQL users and roles

摘要: 转自:https://aws.amazon.com/cn/blogs/database/managing-postgresql-users-and-roles/,一篇很不错的介绍pg 权限的 PostgreSQL is one of the most popular open-source rela 阅读全文

posted @ 2020-09-29 16:34 荣锋亮 阅读(402) 评论(0) 推荐(0)

上一页 1 ··· 68 69 70 71 72 73 74 75 76 ··· 135 下一页

导航