重置idea 配置的方法
摘要：
今天在运行idea的时候发现idea突然不好使了（maven项目内置依赖管理处理问题了，代码提示有问题），直接使用maven 构建命令是没有问题的，直接想到重置默认配置，搜过一些资料发现都不太好事（mac 系统 ），后边发现了官方的一篇介绍 文档，简单清晰 参考操作图 说明 多看官方文档还是很重要的 阅读全文
posted @ 2020-10-14 13:10 荣锋亮 阅读(7435) 评论(5) 推荐(0)
jdbc连接池工具与pg fdw连接的问题
摘要：
最近一个项目使用了postgres 的fdw 进行跨库的业务数查询分析，直接使用pg 的client 工具以及直接使用pg的datasource 实现PGSimpleDataSource测试都是没有问题的 pg fdw 使用参考 因为项目默认使用了alibaba 的druid 连接池工具发现没请求几 阅读全文
posted @ 2020-10-14 13:00 荣锋亮 阅读(363) 评论(0) 推荐(0)
关于drill http存储插件http 超时的一些说明
摘要：
默认http 存储插件的配置，参考 { "type": "http", "cacheResults": false, "connections": { "sunrise": { "url": "https://api.sunrise-sunset.org/json", "method": "GET" 阅读全文
posted @ 2020-10-12 23:36 荣锋亮 阅读(254) 评论(0) 推荐(0)
tds-fdw PostgreSQL said: DB-Library error: DB #: 20002, DB Msg: Adaptive Server connection failed, OS #: 0, OS Msg: Success, Level: 9 问题解决.md
摘要：
属于一个常见问题，解决方法还是查看日志，可以配置的参数 配置sql ALTER SERVER mssql_svr OPTIONS (ADD msg_handler 'notice'); SET client_min_messages=DEBUG3; 通过以上配置参数我们可以方便的查看请求日志，进行问 阅读全文
posted @ 2020-10-12 22:25 荣锋亮 阅读(591) 评论(0) 推荐(0)
开发自己的jdbc驱动——可选开发工具
摘要：
前边有简单介绍过关于jdbc驱动开发的说明，以下是一些简单的整理，提供关于快速开发jdbc的一些参考资料 驱动开发的一些说明 需要实现的接口 以下的接口是需要实现的，除过Driver 接口一般都会创建一个抽象类进行扩展 Statement ResultSetMetaData ResultSet Pr 阅读全文
posted @ 2020-10-11 21:15 荣锋亮 阅读(648) 评论(0) 推荐(0)
nexus Invalid state: DELETED; allowed: [STARTED] 问题解决
摘要：
问题 线上nexus因为误操作 blob存储，造成nexus 出现Invalid state: DELETED; allowed: [STARTED]，然后就是现有的nexus 也不能使用了（nexus服务异常） 以下是参考的解决方法 解决方法 手工处理相关的blob存储，删除，同时重启nexus服 阅读全文
posted @ 2020-10-10 11:35 荣锋亮 阅读(1068) 评论(0) 推荐(0)
airline开发类似git cli 的jar 包
摘要：
airline 是一个很不错的用来开发类似git cli 应用的jar包，使用简单，功能强大是一个值得使用的jar包 类似的jar 包有jcommander，picocli，同时picocli也提供了一个比较完整的开源cli 工具比较文章很值 得看看 参考资料 https://github.com/ 阅读全文
posted @ 2020-10-09 22:52 荣锋亮 阅读(259) 评论(0) 推荐(0)
开发自己的jdbc驱动——基本说明
摘要：
jdbc目前支持4种类型的驱动模式 参考如下图，我们需要开发的是type4 100%纯java代码的，以下只是简单的原型，实现一个比较完整的jdbc驱动，后续会逐步完成 项目结构 当前没有依赖任何三方包，对于包含了依赖的，对于驱动的如果使用maven项目推荐使用maven-shade-plugin 阅读全文
posted @ 2020-10-09 20:44 荣锋亮 阅读(2565) 评论(0) 推荐(0)
nessie 安装&&简单试用
摘要：
以下是关于nessie基于容器的简单运行试用 环境准备 docker 运行 docker run -p 19120:19120 projectnessie/nessie 安装cli pip install pynessie 试用 创建分支 nessie create-branch my_branch 阅读全文
posted @ 2020-10-08 22:28 荣锋亮 阅读(535) 评论(0) 推荐(0)
nessie 类似git 管理数据湖
摘要：
nessie 是由dremio团队开源的一个类似git 管理数据湖的系统方案 支持的特性 类似git 模式的版本管理 跨表事物（基于iceberg） 开放式的数据湖支持 参考资料 https://projectnessie.org/ https://www.dremio.com/introducin 阅读全文
posted @ 2020-10-08 15:53 荣锋亮 阅读(500) 评论(0) 推荐(0)
一些不错的开源大数据虚拟数据sql 查询引擎
摘要：
以下就是一个简单的整理，核心在数据sql查询以及支持的联邦数据处理上 presto 一个通用的sql on anything 工具 apache drill 很不错的多数据源sql 查询引擎，schema on fly dremio 很不错，从官方文档看有点对标presto，但是dremio 更强大 阅读全文
posted @ 2020-10-08 09:58 荣锋亮 阅读(1495) 评论(2) 推荐(0)
What Is a Data Lake Engine?
摘要：
转自:https://www.dremio.com/what-is-a-data-lake-engine/ A data lake engine is an open source software solution or cloud service that provides critical c 阅读全文
posted @ 2020-10-08 09:38 荣锋亮 阅读(250) 评论(0) 推荐(0)
drill http 存储插件试用
摘要：
以下是对于http 存储插件的试用 环境准备 docker 启动drill (1.18.0 ) docker run -i --name drill-1.18.0 -p 8047:8047 -p 31010:31010 -p 31011:31011 -p 31012:31012 -t apache/ 阅读全文
posted @ 2020-10-06 21:22 荣锋亮 阅读(295) 评论(0) 推荐(0)
apache drill 1.18.0 新特性
摘要：
apache drill 1.18.0 在九月6号，发布了1.18.0 版本，目前官方文档更新的不是很及时，以下大概说明下新的特性 drill metadata 功能，这个文档有写到，可以加速drill 的查询处理，同时方便bi工具 格式插件hdf5 http rest api 存储插件（很期待的功 阅读全文
posted @ 2020-10-06 20:52 荣锋亮 阅读(352) 评论(0) 推荐(0)
drill 学习 十 drill rest api
摘要：
drill 提供了web ui 以及rest api 我们基于rest api 可以开发相关的业务系统（不需要依赖jdbc 驱动） 以下是简单梳理rest api 的使用（关于暴露的系统ui api 没有说明） 查询 api 地址:POST /query.json 请求提内容 { "queryTyp 阅读全文
posted @ 2020-10-06 15:04 荣锋亮 阅读(310) 评论(0) 推荐(0)
drill 学习 九 drill性能优化-整体介绍
摘要：
我们可以通过分析查询计划以及profiles 识别引起性能问题的原因，在识别了引起的原因之后我们可以 尝试进行以下操作来解决: 修改查询计划选项 修改广播 join选项 在1/2 阶段聚合切换 基于hash 的内存操作约束开启以及关闭 开启查询队列 控制并行度 数据的组织以及分片的修剪 修改存储格式 阅读全文
posted @ 2020-10-06 09:16 荣锋亮 阅读(355) 评论(0) 推荐(0)
drill 学习 九 drill性能优化-Metastore
摘要：
尽管drill 是schema on fly 的但是，提供scehma 以及统计信息可以加速drill 数据的处理，所以drill 1.17 添加了Metastore（基于iceberg tables） 简单介绍 模式感知执行的显着优势： 在计划时间： 更好的计划优化范围。 由于类型已知，因此可以正 阅读全文
posted @ 2020-10-05 23:19 荣锋亮 阅读(363) 评论(0) 推荐(0)
apache iceberg 用于分析庞大数据集的开放格式
摘要：
apche iceberg是一个开放标准，旨在解决庞大数据集的数据处理 支持的特性 可靠性 &&性能 扫描计划速度快 高级过滤 支持acid 开放标准 确保跨语言实现的兼容性 参考资料 http://iceberg.apache.org/ 阅读全文
posted @ 2020-10-05 10:19 荣锋亮 阅读(715) 评论(0) 推荐(0)
drill 学习 八 drill information schema
摘要：
drill 数据schema on fly 模式的，但是drill也提供了metadata tables 可以 方便的查看数据源（或者schema） drill 提供的schema table schema catalogs tables columns views files partitions 阅读全文
posted @ 2020-10-05 09:47 荣锋亮 阅读(288) 评论(0) 推荐(0)
drill 学习 五 配置说明- 多租户
摘要：
drill 支持多用户共享同一个drillbit以及运行在独立drillbit节点的集群模式 drill可以与以下大数据工具运行在一起: mapreduce yarn hbase hive && pig spark 当我们与其他工具一起运行的时候需要关注：内存，cpu，以及磁盘的配置 当用户共享dr 阅读全文
posted @ 2020-10-05 09:22 荣锋亮 阅读(329) 评论(0) 推荐(0)
drill 学习 七 drill jdbc 连接说明
摘要：
drill 官方没有提供直接的jdbc支持，但是mapr 提供了一个 下载jdbc 驱动 可以直接在drill 的安装包提取，也可以在https://apache.osuosl.org/drill/ 地址下载 ## drill jdbc 连接格式 drill jdbc 驱动支持了多种模式的连接配置: 阅读全文
posted @ 2020-10-04 17:07 荣锋亮 阅读(538) 评论(0) 推荐(0)
drill 学习 六 数据存储插件配置
摘要：
具体可以参考以前整理的一个（比较简单，主要是关于常用数据库的） https://www.cnblogs.com/rongfengliang/p/6926009.html https://www.cnblogs.com/rongfengliang/p/6940485.html 说明 官方文档对于存储插 阅读全文
posted @ 2020-10-04 15:26 荣锋亮 阅读(219) 评论(0) 推荐(0)
drill 学习 五 配置说明- 安全
摘要：
安全是一个比较重要的，但是在实际的开发中，大家可能关注的不是很多，drill 安全配置包含： 认证： 基于Kerberos模式，用户密码模式，签名 加密： 基于Kerberos提供数据的保密以及一致性 授权： 当前主要基于hive 授权配置模拟用户 模拟： 配置模拟用户，配置入展模拟，使用hive配 阅读全文
posted @ 2020-10-04 15:09 荣锋亮 阅读(363) 评论(0) 推荐(0)
drill 学习 五 配置说明- 内存
摘要：
关于 drill 的配置主要包含了： 内存配置 多租户配置 安全配置 性能以及功能配置 查询profile以及数据配置配置 内存配置 drill 使用包含了jvm 的直接内存，堆内存，核心使用最多的是直接内存，默认是8G，但是推荐配置更好（drill 高效使用了内存） 大部分场景drill使用的是内 阅读全文
posted @ 2020-10-04 11:38 荣锋亮 阅读(444) 评论(0) 推荐(0)
drill 学习 四 drill参考案例
摘要：
具体案例来自官方文档，只是简单的说明下，详细的可以参考官方文档 环境准备 运行drill 测试环境可以通过docker运行，简单方便 简单查询 查询json文件 SELECT * FROM cp.`employee.json` LIMIT 3; 查询parquet文件 SELECT * FROM d 阅读全文
posted @ 2020-10-04 11:00 荣锋亮 阅读(385) 评论(0) 推荐(0)
drill 学习 三 drill 参考架构介绍二
摘要：
前边有简单介绍过drill的整体设计，以下是关于查询执行处理的简单介绍drill 包含了一个foreman 组件 foreman 主要 是进行会话以及sql 处理 sql 处理过程 参考图： 说明： 从客户端或应用程序接收查询的Drillbit成为查询的foreman，并驱动整个查询。Foreman 阅读全文
posted @ 2020-10-04 08:13 荣锋亮 阅读(415) 评论(0) 推荐(0)
drill 学习 三 drill 参考架构介绍一
摘要：
以前大概有介绍过drill，drill 是一个低延迟的分布式查询引擎，drill 的核心是 drillbit 服务 该服务负责接受来自客户端的请求，同时处理查询并将结果返回给客户端 参考通信架构图 核心组件图 rpc endpoint 是一个低开销的，以及protobuf的rpc 通信处理，以及zk 阅读全文
posted @ 2020-10-03 22:23 荣锋亮 阅读(440) 评论(0) 推荐(0)
drill 学习 二 drill 运行模式简单说
摘要：
测试环境的运行还是比较简单的，我们核心的是jvm drill 运行模式 嵌入式模式 比较适合测试（当然基于单机运行还是可以的,注意单机生产需要修改一些配置参数，很重要） 运行命令 bin/drill-embedded 分布式集群模式 依赖zk，我们需要安装zk，zk 的集群节点需要至少3个节点（奇数 阅读全文
posted @ 2020-10-02 09:13 荣锋亮 阅读(345) 评论(0) 推荐(0)
drill 学习 一 drill 基本介绍
摘要：
drill 是一个大数据sql 查询引擎（当然对于hdf也是支持写入的，我们的主要场景还是数据查询） drill 支持的数据格式 drill 支持的数据格式较多，以下是一个简单的说明 csv，tsv，psv或者其他任意用分隔符字段的数据（当然我们可以自己配置数据解析——通过存储插件配置选项） jso 阅读全文
posted @ 2020-10-02 09:02 荣锋亮 阅读(1299) 评论(0) 推荐(0)
java 应用基于mongo driver监控简单说明
摘要：
mongo java 版本的driver提供了比较多的metrics，我们之需要实现对应的Listener就可以方便的监控mongo 应用了，以下是一些简单的说明 直接使用java driver 模式 public class TestCommandListener implements Comma 阅读全文
posted @ 2020-09-30 18:07 荣锋亮 阅读(1000) 评论(0) 推荐(0)
Kubernetes Multi-Tenancy — A Best Practices Guide
摘要：
转自:https://medium.com/faun/kubernetes-multi-tenancy-a-best-practices-guide-88e37ef2b709 Kubernetes multi-tenancy is a topic that more and more organiz 阅读全文
posted @ 2020-09-30 13:02 荣锋亮 阅读(375) 评论(0) 推荐(0)
maven 项目打包不包含META_INF maven 的方法
摘要：
maven 生成的jar 包不包含META_INF maven 的目的很简单，就是不打算暴露太多的关于maven profile 配置（可能会有敏感信息） 解决方法 参考自己的实际项目以及使用的构建方式添加addMavenDescriptor为false 的配置 以下是一个spring boot 的 阅读全文
posted @ 2020-09-30 12:08 荣锋亮 阅读(3773) 评论(0) 推荐(0)
QRGen 一个灵活简单的java 二维码生成jar 包
摘要：
QRGen 是基于ZXing 包装的一个二维码生成jar包，使用简单（一行代码搞定二维码） 使用 引用包 <repositories> <repository> <id>jitpack.io</id> <url>https://jitpack.io</url> </repository> </rep 阅读全文
posted @ 2020-09-29 20:50 荣锋亮 阅读(867) 评论(0) 推荐(0)
token模式请求图片资源
摘要：
场景很简单，主要是接口需要认证包括图片，但是使用了前后端分离的模式，所以直接基于src模式指定图片是有问题的（权限） 解决方法 认证模式使用cookie 但是在现有的设计中不太合理，也比较费事，因为使用了spring cloud 认证在gateway 重新请求指定src图片数据 理论上肯定不能基于h 阅读全文
posted @ 2020-09-29 20:19 荣锋亮 阅读(2238) 评论(0) 推荐(0)
扩展自定义spring boot prometheus metrics
摘要：
实现原理很简单，主要是基于micrometer包装提供的MeterRegistry bean 进行扩展 项目结构 maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/ 阅读全文
posted @ 2020-09-29 17:52 荣锋亮 阅读(1993) 评论(0) 推荐(0)
Managing PostgreSQL users and roles
摘要：
转自:https://aws.amazon.com/cn/blogs/database/managing-postgresql-users-and-roles/,一篇很不错的介绍pg 权限的 PostgreSQL is one of the most popular open-source rela 阅读全文
posted @ 2020-09-29 16:34 荣锋亮 阅读(397) 评论(0) 推荐(0)
Static Analysis of Java Enterprise Applications: Frameworks and Caches, the Elephants in the Room
摘要：
一篇不错的关于jvm应用静态分析的介绍，https://blog.acolyer.org/2020/09/25/jackee/ 参考资料 https://github.com/soot-oss/soot https://github.com/wala/WALA https://bitbucket.o 阅读全文
posted @ 2020-09-28 23:29 荣锋亮 阅读(212) 评论(0) 推荐(0)
使用gopacket 解析一个简单的sql server 协议
摘要：
这篇应该说是属于基于gopacket 分析sql server 数据包的一个简单测试（没什么技术含量，大部分关于sql server解析的还在测试） 预备知识 sql server使用的是tds协议，这个协议在微软的官方能看到相关的技术文档，我们可以参考技术文档分析以及学习协议，通过 wiresha 阅读全文
posted @ 2020-09-28 15:37 荣锋亮 阅读(2084) 评论(3) 推荐(0)
gopacket 流量抓包golang 包
摘要：
gopacket 是一个很不错的golang 包装的libpcap 包，提供了灵活的数据包处理，是一个很不错的工具 这几天在尝试基于gopacket 分析sql server 应用的数据包，等后边开发完成，会提供一些代码说明 参考资料 https://godoc.org/github.com/goo 阅读全文
posted @ 2020-09-26 18:19 荣锋亮 阅读(1659) 评论(0) 推荐(0)
pmm 自定义prometheus 配置
摘要：
pmm 基于ansible自动生成运行的配置文件，我们可以基于pmm 定义好的一个基础配置提供自定义配置的扩展 配置目录说明 /srv/prometheus/prometheus.base.yml 参考配置 remote_write: - url: http://1.2.3.4:8428/api/v 阅读全文
posted @ 2020-09-24 19:31 荣锋亮 阅读(809) 评论(0) 推荐(0)
浙公网安备 33010602011771号