荣锋亮 - 博客园

pgspider cstore fdw docker 镜像试用

摘要： cstore_fdw 是citus 团队开源的pg 列式存储扩展，可以加速我们的数据分析,关于列式存储以及行式存储的比较可以参考下边连接的动图（来自clickhouse 官方网站） https://clickhouse.tech/docs/en/ 以下是关于cstore fdw 的简单使用环境准阅读全文

posted @ 2020-02-24 09:07 荣锋亮阅读(452) 评论(0) 推荐(0)

postgres pg_cron 扩展试用

摘要：就是一个简单的试用，同时测试下docker 基础镜像环境准备 docker-compose 文件 version: '3' services: pgspider-pg_cron: image: dalongrong/pgspider:pg_cron ports: - "5432:5432" env 阅读全文

posted @ 2020-02-23 21:36 荣锋亮阅读(1245) 评论(0) 推荐(0)

pgspider pg_cron 以及cstore fdw docker 镜像

摘要： citus 开源的好几个pg fdw 都是很不错的扩展，以下是关于cstore 以及pg_cron 的扩展的docker 镜像 pg_cron dokerfile 同样是基于pgspider 的base 镜像 FROM dalongrong/pgspider:base as build WORKDI 阅读全文

posted @ 2020-02-23 20:51 荣锋亮阅读(523) 评论(0) 推荐(0)

docker 几个不错的镜像加速地址

摘要：整理了几个不错的加速地址，后续有新的还会更新几个地址 https://b3uey254.mirror.aliyuncs.com http://099430a4.m.daocloud.io https://registry.docker-cn.com https://reg-mirror.qiniu 阅读全文

posted @ 2020-02-22 21:19 荣锋亮阅读(1472) 评论(1) 推荐(1)

chproxy 一个功能强大的clickhouse http 代理以及负载均衡中间件

摘要： chproxy 是基于golang 编写的clickhouse http 服务的代理以及负载均衡中间件，功能比较丰富基于yaml 配置，对于多集群流量处理是一个很不错工具参考资料 https://github.com/Vertamedia/chproxy 阅读全文

posted @ 2020-02-22 21:06 荣锋亮阅读(5423) 评论(0) 推荐(0)

pgspider kafka fdw docker 镜像

摘要： kafka fdw的镜像还是比较好制作的，已经提供好了，相关的包，只需要构建就可以了。还是老样子，基于base 镜像 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-g 阅读全文

posted @ 2020-02-22 19:55 荣锋亮阅读(389) 评论(0) 推荐(0)

trickster 反向代理以及时序dashboard 加速中间件

摘要： trickster 是基于golang 编写的一个强大的反向代理cache 以及时序dashboard 加速中间价包含的特性 tls 支持提供了多种cache 层的存储支持（内存，文件系统，redis，bbolt）高度灵活的配置内置promethesu metrcis 支持高性能字节范围阅读全文

posted @ 2020-02-22 19:41 荣锋亮阅读(453) 评论(0) 推荐(0)

pgspider clickhouse fdw docker 镜像的几点说明

摘要： clickhouse 的fdw 是基于odbc 开发的，同时也需要依赖libclickhouse 以下是对于构建中的一些说明预备说明实际上大部分官方文档已经提供了 odbc 说明需要下载编译好的，地址https://github.com/ClickHouse/clickhouse-odbc/r 阅读全文

posted @ 2020-02-22 12:47 荣锋亮阅读(583) 评论(0) 推荐(0)

pgspider clickhouse fdw 试用

摘要：昨天有构建过一个clickhouse 的fdw docker 镜像，今天测试下环境使用docker-compose 运行，clickhouse 同样也是环境准备 docker-compose 环境 version: "3" services: server: image: yandex/clic 阅读全文

posted @ 2020-02-22 12:30 荣锋亮阅读(686) 评论(0) 推荐(0)

pgspider clickhouse fdw docker 镜像

摘要：老样子集成base 镜像构建，以下是clickhouse dockerfile Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y openss 阅读全文

posted @ 2020-02-21 23:19 荣锋亮阅读(368) 评论(0) 推荐(0)

cube.js 集成opendistro elasticsearch bug 的原因说明

摘要：通过直接调用elasticsearch 的nodejs sdk 发现问题的原因是opendistro sql 扩展对于sql 的支持与elasticsearch 官方的有差异，主要是数据返回格式上，看看是否有兼容的方案阅读全文

posted @ 2020-02-19 11:27 荣锋亮阅读(327) 评论(0) 推荐(0)

cube.js opendistro elasticsearch 试用以及几个bug

摘要：前边有说明，cube.js 已经es 以下是通过opendistro的一个简单的试用（没跑通，后边有时间可以尝试下找下原因） opendistro 环境准备 docker-compose 文件注意es 版本，目前cube.js 是7.6 的es npm 包，所以最好是兼容的,因为部分版本还是有兼容阅读全文

posted @ 2020-02-19 10:46 荣锋亮阅读(827) 评论(0) 推荐(0)

cube.js 支持 elasticsearch

摘要： cube.js 已经支持es 的分析了，原理是基于sql，因为cube.js 的核心就是基于sql 的处理，所以只要是能基于sql 的处理，基本上基于cube.js 都是可以扩展的，大概看了下，官方是通过elasticsearch 的sql api 支持的，同时对于amazon 的opendist 阅读全文

posted @ 2020-02-18 22:38 荣锋亮阅读(371) 评论(0) 推荐(0)

cube.js schema 学习二

摘要： cube.js 从那发布，到现在也已经有了很大的变动了，比如多租户，多数据源的支持，同时schema 也有了好多新的类型支持，以下是基于新版本的一个学习通用格式参考 cube(`Users`, { sql: `select * from users`, joins: { Organizati 阅读全文

posted @ 2020-02-18 21:58 荣锋亮阅读(559) 评论(0) 推荐(0)

iperf3+ethr 测试网络工具

摘要：一般大家比较常用的是iperf，iperf3 是iperf 的升级版本，ethr 是微软开发的基于golang 的跨平台工具以下是简单的使用 iperf3 server 启动 iperfs -s client iperf3 -c <ip> ethr 实际上与iperf3 类似，也都是-s -c ，阅读全文

posted @ 2020-02-18 14:02 荣锋亮阅读(915) 评论(0) 推荐(0)

cube.js 学习 cli 命令

摘要：平时经常用的cube.js 的命令主要是create 实际上还包含了其他方便的命令 create 生成cube.js 的脚手架app 命令使用 cubejs create APP-NAME -d DB-TYPE [-t TEMPLATE] 说明 -d 指定我们依赖的数据库类型 -t 指定模版默认为阅读全文

posted @ 2020-02-16 19:59 荣锋亮阅读(414) 评论(0) 推荐(0)

cube.js 学习 cube 连接mongodb 试用三

摘要：前边有简单介绍过连接mongodb 的方法，如果觉得使用mongobi 比较费事，通过mongo fdw 也是一种很不错的方式原理说明通过postgres 的mongo fdw 连接mongo，对于mongo 的数据访问，我们就可以直接使用pg 的drriver了，后边的操作就是对于pg 的操阅读全文

posted @ 2020-02-16 17:31 荣锋亮阅读(391) 评论(0) 推荐(0)

cube.js 学习 cube 连接mongodb 试用二

摘要：以前有写过在我我cube.js 连接mongo 的（通过mongodb bi-connector），当时没有考虑安全的问题（账户&&ssl）以下是关于基于账户认证以及ssl 问题的说明，以下是简单的集成说明环境准备 docker-compose mongo version: "3" servic 阅读全文

posted @ 2020-02-16 12:35 荣锋亮阅读(543) 评论(3) 推荐(0)

mongodb 通过sql 查询的几种方式

摘要： sql 2 mongodb query 这个一些开发工具已经是支持的，同时也有一些框架支持（目前所了解到的支持的一般） sql 查询引擎 drill，presto。。。。都是不错的方案 torodb 的stampede 这个是一个类似的cdc 解决方案，很不错，但是目前不维护了。。。 mongodb 阅读全文

posted @ 2020-02-15 21:09 荣锋亮阅读(6687) 评论(0) 推荐(0)

mongodb bi-connector spring boot 集成试用

摘要：实际上没多少技术含量，就是spring data jdbc+mysql 数据访问而且，主要就是几个参数配置 spring boot 项目结构使用官方的初始化器代码结构 ├── HELP.md ├── demo.iml ├── mvnw ├── mvnw.cmd ├── pom.xml └── s 阅读全文

posted @ 2020-02-15 19:25 荣锋亮阅读(557) 评论(0) 推荐(0)

mongodb bi-connector 使用

摘要： mongodb bi-connector 是一个方便的mongodb 2 sql 工具，我们可以使用sql 的强大查询能力，分析mongo的数据，以下是一些简单操作，以及一些部署上的细节说明，后边会介绍spring boot 集成的说明安装为了方便测试使用本地docker 运行mongo+ 使阅读全文

posted @ 2020-02-15 18:52 荣锋亮阅读(3968) 评论(0) 推荐(0)

pgspider mongodb fdw 查询集成

摘要：前边有简单说过关于mongodb fdw 容器构建的，一些是一些使用上的简单说明环境准备 docker-compose 文件 version: "3" services: pg-mongo: image: dalongrong/pgspider:mongo ports: - "5432:5432" 阅读全文

posted @ 2020-02-14 11:16 荣锋亮阅读(571) 评论(0) 推荐(0)

zombodb 关于索引的几个问题

摘要： es 数据丢失（误删）现象此情况下，通过zombodb dsl 方式查询会有异常，数据库sql 模式没问题（数据库数据在）解决需要重建索引，命令REINDEX index <indexname> es 故障（服务不可用）现象通过zombodb dsl 查询会有一样，同时数据的insert 阅读全文

posted @ 2020-02-13 18:33 荣锋亮阅读(388) 评论(0) 推荐(0)

pgspider zombodb+opendistro 集成

摘要： zombodb 默认对于es的连接是没有密码的，很不安全，可选的方式，基于nginx+basci auth 使用es 的X-Pack，使用amazon的opendistro 也是一个很不错的方案,以下是一个简单测试，同时会有关于使用basic auth 模式的连接配置注意，测试使用的pg zom 阅读全文

posted @ 2020-02-13 13:59 荣锋亮阅读(405) 评论(0) 推荐(0)

pgspider zombodb集成使用

摘要： zombodb 是一个强大的pg 扩展，我们可以像操作数据库一样操作es，以下是pgspider 与zombodb 的构建说明，使用最新版本v5.6.16-1.0.20 构建失败，使用了v.40 dockerfile 老样子基于已经构建好的pgspider base 镜像 FROM dalongr 阅读全文

posted @ 2020-02-13 11:41 荣锋亮阅读(517) 评论(0) 推荐(0)

Writing a Foreign Data Wrapper

摘要：转自:greenplum 官方的一片文档 https://gpdb.docs.pivotal.io/6-0/admin_guide/external/g-devel-fdw.html pg 是类似的 This chapter outlines how to write a new foreign-d 阅读全文

posted @ 2020-02-13 08:25 荣锋亮阅读(358) 评论(0) 推荐(0)

pgspider griddb fdw +plv8 集成使用

摘要：以下是一个简单的griddb fdw 与plv8 的集成，同时添加了node require 模块的支持，可以实现灵活的系统扩展 pgspider plv8 docker镜像制作 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /a 阅读全文

posted @ 2020-02-12 18:55 荣锋亮阅读(451) 评论(0) 推荐(0)

griddb 集群大小评估算法

摘要： griddb 官方提供了一套计算公式，我们可以用来方便的评估集群规模以及使用的资源大小总内存使用需要考虑的因素 row 数据的大小需要注册的rows 评估公式此为单collection 的，总的需要计算所有的集合 Memory capacity used = row data size × 阅读全文

posted @ 2020-02-12 09:35 荣锋亮阅读(396) 评论(0) 推荐(0)

pgspider griddb fdw 通过固定列表server 连接配置

摘要：对于实际使用可靠，稳定是大家比较关心的问题，从过年griddb fdw github 文档上我们看到的就是可以使用多播地址以及固定ip notificationMember 信息，实际上我们可以通过查看源码发现可以和 java 应用（实际上client sdk 一样）的配置多个ip，保证fdw 连阅读全文

posted @ 2020-02-12 08:41 荣锋亮阅读(278) 评论(0) 推荐(0)

griddb java 应用连接配置

摘要：默认如果大家去看官方介绍，会推荐我们使用基于多播的ip 配置进行链接，但是很多时候不是很好（环境不支持）可选的方式有：指定多notificationMember，这个官方文档暂时没找到，但是通过查看java client 的源码，我们发现可以直接多个方式为, 分割使用lb（理论上是没有问题的，阅读全文

posted @ 2020-02-11 14:45 荣锋亮阅读(379) 评论(0) 推荐(0)

griddb 集群简单学习

摘要： griddb集群可以使用多种方式部署多播集群静态配置（固定列表） url 地址provider 以下是一个简单的基于固定node 节点列表的模式部署环境准备为了方便使用docker-compose 部署，同时使用估计ip 分配模式 docker-compose 文件 version: "3" 阅读全文

posted @ 2020-02-11 13:06 荣锋亮阅读(959) 评论(0) 推荐(0)

pgspider redis fdw pub && sub 试用

摘要： redis fdw 封装的redis 操作功能还是比较强大的，同时支持通过insert 的方式publish messag 以下是一个简单的学习（但是按照原理应该也是可以sub的（select message，细节可以看看源码））环境准备 dockerc-compose 文件 version: 阅读全文

posted @ 2020-02-11 10:28 荣锋亮阅读(429) 评论(0) 推荐(0)

pgspider redis fdw 试用

摘要：目前redis 的fdw有好几个，github 上有一个start 比较高的，但是对于新版本pg 支持不好，目前使用了 https://github.com/nahanni/rw_redis_fdw，以下是docker 镜像的构建以及试用 dockerfile 老样子基于base 镜像构建 FROM 阅读全文

posted @ 2020-02-11 09:11 荣锋亮阅读(1115) 评论(0) 推荐(0)

pgspider oracle fdw docker 镜像简单使用说明

摘要：基于pgspider 的orcle fdw 已经制作了一个docker 镜像（今天通过测试，可用），以下是使用的简单说明使用说明 // 创建扩展 CREATE EXTENSION oracle_fdw; // 创建server CREATE SERVER oradb FOREIGN DATA WR 阅读全文

posted @ 2020-02-10 17:30 荣锋亮阅读(527) 评论(0) 推荐(0)

pgspider tds fdw sql server docker 镜像中文乱码问题解决

摘要：以下说明几个中文乱码的问题：在直接使用linux sql server 因为默认为英文，所以会有中文编码的问题因为系统使用freetds 配置问题（默认会结合操作系统进行语言处理，还有就是配置文件）几种解决方法修改docker 运行配置 version: "3" services: pg-t 阅读全文

posted @ 2020-02-10 16:42 荣锋亮阅读(664) 评论(0) 推荐(0)

pgspider tds fdw sql server docker 镜像试用

摘要：前边有制作过一个tds 的fdw，以下是一个简单的试用环境准备 docker-compose 文件使用sql server Linux 版本 version: "3" services: pg-tds: image: dalongrong/pgspider:tds ports: - "5432: 阅读全文

posted @ 2020-02-09 22:23 荣锋亮阅读(427) 评论(0) 推荐(0)

pgspider oracle docker 镜像

摘要：对于pg 有一个oracle_fdw的扩展，很不错，可以集成oracle 的数据访问，以下是docker 镜像的制作 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-ge 阅读全文

posted @ 2020-02-08 23:58 荣锋亮阅读(312) 评论(0) 推荐(0)

pgspider 常用pg 扩展docker 镜像

摘要：在实际的使用中我们可能不只是一个简单的pg 扩展，而是使用多种，所以基于现有的构建了一个支持mysql,mongo,sqlite,influxdb,griddb,sql server 的镜像（oracle 的后期尝试添加） Dockerfile FROM dalongrong/pgspider:b 阅读全文

posted @ 2020-02-07 21:55 荣锋亮阅读(483) 评论(0) 推荐(0)

使用 pgspider griddb fdw 让griddb 支持hasura graphql-engine

摘要：原理很简单，就是通过griddb fdw 暴露griddb 的数据操作为正常的pg 操作，后然就可以使用hasura graphql-engine 了参考环境准备 version: "3" services: graphql-engine: image: hasura/graphql-engine 阅读全文

posted @ 2020-02-07 16:10 荣锋亮阅读(274) 评论(0) 推荐(0)

pgspider griddb 试用

摘要：前边有构建一个简单的pgspider griddb fdw 的docker 镜像，以下是一个简单的试用一些说明关于pgspider griddb fdw 的构建目前4.3 有bug，使用的是4.2版本的，同时对于java 链接使用member ip，不是广播地址ip 环境准备 griddb 自己阅读全文

posted @ 2020-02-07 15:38 荣锋亮阅读(372) 评论(0) 推荐(0)

导航

公告