荣锋亮 - 博客园

postgresql_anonymizer 方便的数据脱敏扩展

摘要： postgresql_anonymizer 是一个灵活切强大的数据脱敏扩展，以下是一个简单的使用环境准备基于docker-compose 运行 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get u 阅读全文

posted @ 2020-03-11 08:45 荣锋亮阅读(1738) 评论(0) 推荐(0)

pgspider jsonb_deep_sum 扩展docker 镜像以及简单试用

摘要： jsonb_deep_sum 是一个很强大的jsonb 聚合扩展，可以高效的对于json数据进行sum 以及add 处理以下是pgspider 集成的docker 构建以及使用 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /a 阅读全文

posted @ 2020-03-10 22:38 荣锋亮阅读(369) 评论(0) 推荐(0)

pgspider pgddl 扩展doker 镜像以及试用

摘要： pgddl 是一个灵活方便的提炼pg 的sql ddl，功能很强大，对于我们需要查看创建ddl 的是很方便的 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get in 阅读全文

posted @ 2020-03-10 22:33 荣锋亮阅读(547) 评论(0) 推荐(0)

pgspider wal2json doker 镜像

摘要： wal2json 是一个很不错的pg wal逻辑复制解码json 输出创建，以下是一个集成pgspider 的docker 镜像，可以更好的集成到数据分析中（最好的还是作为基础镜像集成到pgspider 中，作为一个标配组件） Dockerfile FROM dalongrong/pgspider 阅读全文

posted @ 2020-03-09 18:25 荣锋亮阅读(478) 评论(0) 推荐(0)

pgspider Citus节点数据移动操作

摘要：前边有简单的说明过通过副本数以及修改元数据信息，移除节点保证citus 的可用性，以下是一个简单的节点添加以及数据移动的说明环境准备节点需要开启逻辑复制，所以以前的基础镜像稍有调整,同时因为开启了安全认证同时使用了.pgpass docker 基础镜像 FROM dalongrong/pgsp 阅读全文

posted @ 2020-03-09 17:49 荣锋亮阅读(676) 评论(0) 推荐(0)

pgspider Citus worker 账户密码问题

摘要：在测试Citus关于安全配置的时候，没太多注意官方文档的说明，当时自己也认为通过.pgpass 可以解决worker 账户密码的问题的但是测试的时候没太多注意权限的问题，发现测试没通，所以就认为不行，今天仔细查看了官方文档，发现是可以的 .pgpass配置说明 hostname:port:data 阅读全文

posted @ 2020-03-09 09:51 荣锋亮阅读(522) 评论(0) 推荐(0)

pgspider Citu 副本以及节点移除简单学习

摘要：使用citus 使用副本配置对于灾备处理是比较重要的，以下是一个简单的学习环境准备使用docker-compose运行 docker-compose 文件 version: "3" services: graphql-engine: image: hasura/graphql-engine:v1 阅读全文

posted @ 2020-03-08 21:24 荣锋亮阅读(1037) 评论(0) 推荐(0)

Citus 官方docker demo 中membership-manager原理简单说明

摘要： Citus 官方的dcoker demo 使用了membership-manager 进行节点的自动发现注册以及自动移除同时demo 官方也放在了github 中，原理很简单，以下就是一个简单的说明代码地址 https://github.com/citusdata/membership-mana 阅读全文

posted @ 2020-03-08 20:19 荣锋亮阅读(436) 评论(0) 推荐(0)

pgspider Citus docker 镜像使用

摘要：以前有简单说明过pgspider 集成Citus的使用说明，但是使用上还是不太方便，所以进行了一些调整原理说明因为pgspider Citus docker 镜像参考自postgrres 的所以可以直接使用/docker-entrypoint-initdb.d 使用 docker-compose 阅读全文

posted @ 2020-03-08 20:00 荣锋亮阅读(573) 评论(0) 推荐(0)

基于pgspider+ postgres fdw+ cube.js+hasura graphql-engine的数据分析&&展示方案

摘要：当前企业的数据分析需求是越来越多，同时需要自助以及灵活性也越来越多，我们急需灵活同时支持多数据源快速集成查询，以及快速可视化报表的处理，以下是集合自己的一些了解以及学习，梳理一个简单的数据分析以及数据展示方案整体参考架构设计各层说明 data mesh 层主要是使用多种pg fdw 进行数阅读全文

posted @ 2020-03-05 20:37 荣锋亮阅读(755) 评论(3) 推荐(0)

cube.js 集成citus pg 扩展实现多租户的数据分析

摘要： citus 是一个强大的pg 扩展，我们可以方便的用来开发多租户的应用，同时cube.js 支持对于多租户的数据分析 cube.js 连接citus 这个不变，就是普通的pg 连接配置 cube.js 对于多租户的处理我们可以通过添加查询转换处理，代码如下比较适合schema 相同的数据模型对阅读全文

posted @ 2020-03-05 19:57 荣锋亮阅读(428) 评论(0) 推荐(0)

hasura graphql-engine + pgspider citus 加强hasura的大数量graphql 处理能力

摘要：以前有写过比较简单的关于hasura graphql-engine 集成 citus的，以下是一个尝试，将pgspider 同时也集成起来增强hasura graphql-engine 的大数据量以及多中数据源的并行处理能力环境准备 pgspider citus 9.1 docker 镜像 FR 阅读全文

posted @ 2020-03-05 19:32 荣锋亮阅读(397) 评论(0) 推荐(0)

pgspider Citus 集成使用

摘要： Citus 是一个很强大且成功的pg 扩展，以下是pgspider 集成Citus 的使用 docker镜像 FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y cm 阅读全文

posted @ 2020-03-05 17:20 荣锋亮阅读(647) 评论(0) 推荐(0)

termui golang 版本的终端dashboard

摘要： termui是构建在termbox-go之上的一个跨平台的完全可自定义的终端dashboard 以及widget 库，由blessed-contrib 以及tui-rs 启发支持的特性几个常见用例的预制小部件轻松创建自定义小部件在相对网格或绝对坐标中定位小部件键盘，鼠标和终端大小调整事件阅读全文

posted @ 2020-03-05 09:43 荣锋亮阅读(2341) 评论(0) 推荐(0)

pgmetrics 一个灵活方便的pg 监控cli

摘要： pgmetrics 是基于golang 编写的一个灵活的pg性能分析cli，我们可以方便的看到关于pg 以及系统的一些metrics 使用简单，支持human，json，csv 等格式下载参考以下地址https://github.com/rapidloop/pgmetrics/releases 阅读全文

posted @ 2020-03-03 11:34 荣锋亮阅读(826) 评论(0) 推荐(0)

Kuma 0.4 发布支持7层链路追踪以及grafana dashboard

摘要： Kuma 0.4 发布了，基于opentracing 以及promethues ，我们可以更好的观测系统的指标了同时grafana dashboard也已经到grafana 的marketplace 了参考资料 https://konghq.com/blog/kuma-0-4-released- 阅读全文

posted @ 2020-03-03 08:52 荣锋亮阅读(486) 评论(0) 推荐(0)

yugabyte 2.1.0. 发布

摘要： yugabyte 2.1.0 发布了，更好的性能，同时好多特性也已经ga了，同时官方文档中一个很不错的是更好的与hasura graphql engine 的集成，这个我以前有简单比较多，因为yugabyte 底层还是pg 的源码，存储层使用了自己的，所以兼容性是很不错的（相比同类兼容pg 的）阅读全文

posted @ 2020-03-03 08:45 荣锋亮阅读(366) 评论(0) 推荐(0)

pg pg_stat_statements 扩展使用

摘要： pg_stat_statements 使用启用扩展 pg 配置 shared_preload_libraries = 'pg_stat_statements' pg_stat_statements.max = 10000 pg_stat_statements.track = all 注意修改次配置阅读全文

posted @ 2020-03-02 22:38 荣锋亮阅读(1458) 评论(0) 推荐(0)

pgspider 集成hypopg 虚拟索引扩展

摘要：虚拟索引是不占用空间的，可以用来方便的进行sql 查询的性能评估，帮助我们了解查询优化的效果 hypopg 是一个pg 扩展，提供了比较方便的函数，我们可以用来评估查询，以下是pgspider 集成hypopg 的一个学习环境准备 dockerfile 使用docker 运行，参考我的相关连接 F 阅读全文

posted @ 2020-03-01 18:56 荣锋亮阅读(381) 评论(0) 推荐(0)

arkade 一键式安装 kube app 的 cl

摘要：使用arkade 可以简化我们不是charts 以及app 到k8s 集群中，arkade 安装以及使用都是比较简单的安装 curl -sLS https://dl.get-arkade.dev | sudo sh 命令 arkade install - install an app arkade 阅读全文

posted @ 2020-02-29 19:39 荣锋亮阅读(843) 评论(0) 推荐(0)

hasura graphql-engine ha 以及自动缩放的一些参考资料

摘要：一张参数图通过此参考图，我们基本也就可以了解到关于hasura graphql-engine 如何提高稳定以及扩展说明如下的参考资料有关于autoscale 的一些问题说明，以及内部的一些设计，是很不错的资料参考资料 https://github.com/hasura/graphql-eng 阅读全文

posted @ 2020-02-28 10:15 荣锋亮阅读(335) 评论(0) 推荐(0)

hasura graphql-engine v1.2.0 beta 版本

摘要： hasura graphql-engine v1.2.0 提供了一个很不错的功能action，这个也是目前其他graphql 没有hasura 强大的地方，使用action 我们可以更好的扩展hasura，添加一个业务逻辑，因为当前来说，我们对于hasura 可控性不是很好（尤其在业务处理上，基阅读全文

posted @ 2020-02-28 09:49 荣锋亮阅读(482) 评论(0) 推荐(0)

postgres http fdw + plv8+pg_cron 处理数据

摘要：昨天有简单写过使用http fdw+plv8 处理数据的，以下是一个结合pg_cron 的场景：使用pg_cron 每隔一分钟操作此获取ip 的操作，ip 获取通过http fdw 处理，同时结合plv8 处理json 数据环境准备 docker-compose 文件 version: "3" 阅读全文

posted @ 2020-02-28 09:15 荣锋亮阅读(472) 评论(0) 推荐(0)

postgres http fdw + plv8 处理数据

摘要：原理很简单就是就有http fdw 获取数据，然后结合plv8 处理json 数据环境准备 docker-compose 文件 version: "3" services: pgspider-fdw: image: dalongrong/pgspider:gzip-http-plv8 ports: 阅读全文

posted @ 2020-02-27 23:20 荣锋亮阅读(909) 评论(0) 推荐(0)

pgspider http fdw http 相关的几个配置参数

摘要： http 请求时间配置 session 级别的 set http.timeout_msec = 10000; SELECT http_set_curlopt('CURLOPT_TIMEOUT', '10'); 全局级别的 ALTER DATABASE postgres SET "http.timeo 阅读全文

posted @ 2020-02-27 19:29 荣锋亮阅读(389) 评论(0) 推荐(0)

pgspider gzip fdw试用(集成gzip+http+graphql-engine)

摘要： gzip 也是一个在实际中比较有用的处理工具，可以减少数据传输，以下是集成gzip http 以及plv8 的处理 gzip Docker 镜像 Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get up 阅读全文

posted @ 2020-02-27 16:40 荣锋亮阅读(468) 评论(0) 推荐(0)

minio gateway 代理s3 存储

摘要：以前有写过使用minio gataway 代理nas 的，实际上还可以代理s3 ，hdfs。。。。，以下是一个gatway 带来nas 以及s3 集成的模式环境准备 docker-compose文件 version: "3" services: gateway: image: minio/mini 阅读全文

posted @ 2020-02-27 16:38 荣锋亮阅读(3455) 评论(0) 推荐(0)

pgspider http fdw试用

摘要： pgsql-http 是一个很不错的处理http 请求的扩展，我们可以用来方便的处理http 请求以下是一个简单的试用（包括docker 镜像构建） pgsql-http 镜像使用pgspider 的base 镜像 dockerfile FROM dalongrong/pgspider:bas 阅读全文

posted @ 2020-02-27 11:38 荣锋亮阅读(545) 评论(0) 推荐(0)

一些pg fdw 版本过低的一些解决方法

摘要：最近在学习，测试一些主流的基于pg fdw 的数据访问机制，发现好多对于pg 10 pg 11 。。。等基本就不支持了。好久没有更新了，但是老版本还是比较稳定的，以下是一些自己的思考，做一个简单的记录使用新版本pg 的postgres fdw 集成旧版本的这种方式会形成一个数据访问的层级结构阅读全文

posted @ 2020-02-26 19:40 荣锋亮阅读(510) 评论(0) 推荐(0)

pgspider 一些ppt 截图

摘要：以下是一些关于pgspider的实践截图，供参考，可以进一步的了解pgspider 的设计以及解决的问题一个场景 pgspider 技术概述多租户特性 pgspider core 功能 pgspider 内部处理 push down 处理 push down 相关问题的处理 node 寻址的处理阅读全文

posted @ 2020-02-26 18:27 荣锋亮阅读(466) 评论(0) 推荐(0)

postgres cassandra_fdw 扩展试用

摘要：经过测试cassandra_fdw 对于pg11 支持哟问题，所以就参考官方的建议使用了pg 9.5 构建docker 镜像 cassandra_fdw docker 镜像 Dockerfile FROM postgres:9.5 as build WORKDIR /app RUN apt-get 阅读全文

posted @ 2020-02-26 17:58 荣锋亮阅读(432) 评论(0) 推荐(0)

使用 postgres s3 fdw + cube.js 分析 csv 数据

摘要：昨天有大概提过关于使用postgres s3 fdw 用来分析csv 数据的，今天简单试用下环境准备 docker-compose 文件 version: "3" services: postgres-fdw: image: dalongrong/pgspider:pg_cron ports: - 阅读全文

posted @ 2020-02-26 11:37 荣锋亮阅读(515) 评论(0) 推荐(0)

cube.js 集成s3 的一种方法

摘要：同集成es 的问题一样，使用postgres s3 fdw 将s3的数据暴露为sql 可操作的数据，后边就是对于pg 的数据分析了参考资料 https://github.com/rongfengliang/pg-s3-fdw-learning https://www.cnblogs.com/ron 阅读全文

posted @ 2020-02-25 19:48 荣锋亮阅读(252) 评论(0) 推荐(0)

postgres s3 fdw 试用

摘要： s3 是一个很不错的文件存储系统，以下是一个简单的试用s3 fdw （使用https://github.com/smomni/s3_fdw_py）此版本兼容pg11 同时使用了python3 开发，使用multicorn （很强大）环境准备说明 s3_fdw 的docker 镜像以及原有的已经p 阅读全文

posted @ 2020-02-25 19:45 荣锋亮阅读(824) 评论(0) 推荐(0)

cube.js 集成 elasticsearch 的一种变通方法

摘要：前边有介绍过cube.js 对于es 的支持（以及关于opendistro elasticsearch的bug）实际上我们可以通过 postgres 的elasticsearch-fdw 迂回式的解决此问题，对于需要的分析都可以通过pg 的fdw 操作解决环境准备 docker-compose 文阅读全文

posted @ 2020-02-25 09:35 荣锋亮阅读(443) 评论(0) 推荐(0)

使用postgres_fdw 串接elasticsearch fdw

摘要：目的很简单，主要还是elasticsearch fdw 的镜像太大，为了减少all-in-one 的大小，实现一个层级的数据模型环境准备 docker-compose 文件 version: "3" services: elasticsearch: image: elasticsearch:7.6 阅读全文

posted @ 2020-02-25 09:12 荣锋亮阅读(1052) 评论(0) 推荐(0)

postgres elasticsearch fdw 学习

摘要： es 的fdw 是基于multicorn（python扩展）开发的，官方的multicorn 版本已经很老了，对于pg 的高版本是不支持的但是已经有人提供了支持新版本的包了,还是很不错的，基于python 开发fdw 简单方便 multicorn 支持的版本 apt-get install pos 阅读全文

posted @ 2020-02-24 18:52 荣锋亮阅读(1540) 评论(0) 推荐(0)

使用vcpkg 管理c&&c++ 包

摘要： vcpkg 是微软开源的c以及c++ 包管理方案，跨平台，conan也是一个类似的方案，但是从github 上的star 来说似乎vcpkg 更好，还有待仔细研究下参考资料 https://github.com/microsoft/vcpkg https://github.com/conan-i 阅读全文

posted @ 2020-02-24 16:35 荣锋亮阅读(796) 评论(0) 推荐(0)

postgres pg_cron 扩展连接远程pg server

摘要： pg_cron 是一个简单但是使用还算灵活的pg定时任务扩展，以下是一个remote insert 数据的简单试用环境准备 docker-compose 注意demo，包含了好几个组件，cstore 以及graphql-engine 可以不用管，但是三者集成起来将会很强大的 version: '3 阅读全文

posted @ 2020-02-24 10:23 荣锋亮阅读(617) 评论(0) 推荐(0)

hasura graphql-engine v1.1.0 发布了

摘要： hasura graphql-engine 的迭代速度还是很快的，5天前，发布了1.1.0 ，一个比较方便的特性是支持批量查询了其他一些功能提升以及bug 修复可以参考官方的changelog 参考资料 https://github.com/hasura/graphql-engine/releas 阅读全文

posted @ 2020-02-24 09:26 荣锋亮阅读(220) 评论(0) 推荐(0)

导航

公告