上一页 1 ··· 77 78 79 80 81 82 83 84 85 ··· 133 下一页

2020年2月23日

pgspider pg_cron 以及cstore fdw docker 镜像

摘要: citus 开源的好几个pg fdw 都是很不错的扩展,以下是关于cstore 以及pg_cron 的扩展的docker 镜像 pg_cron dokerfile 同样是基于pgspider 的base 镜像 FROM dalongrong/pgspider:base as build WORKDI 阅读全文

posted @ 2020-02-23 20:51 荣锋亮 阅读(512) 评论(0) 推荐(0)

2020年2月22日

docker 几个不错的镜像加速地址

摘要: 整理了几个不错的加速地址,后续有新的还会更新 几个地址 https://b3uey254.mirror.aliyuncs.com http://099430a4.m.daocloud.io https://registry.docker-cn.com https://reg-mirror.qiniu 阅读全文

posted @ 2020-02-22 21:19 荣锋亮 阅读(1467) 评论(1) 推荐(1)

chproxy 一个功能强大的clickhouse http 代理以及负载均衡中间件

摘要: chproxy 是基于golang 编写的clickhouse http 服务的代理以及负载均衡中间件,功能比较丰富 基于yaml 配置,对于多集群流量处理是一个很不错工具 参考资料 https://github.com/Vertamedia/chproxy 阅读全文

posted @ 2020-02-22 21:06 荣锋亮 阅读(5413) 评论(0) 推荐(0)

pgspider kafka fdw docker 镜像

摘要: kafka fdw的镜像还是比较好制作的,已经提供好了,相关的包,只需要构建就可以了。 还是老样子,基于base 镜像 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-g 阅读全文

posted @ 2020-02-22 19:55 荣锋亮 阅读(389) 评论(0) 推荐(0)

trickster 反向代理以及时序dashboard 加速中间件

摘要: trickster 是基于golang 编写的一个强大的反向代理cache 以及时序dashboard 加速中间价 包含的特性 tls 支持 提供了多种cache 层的存储支持(内存,文件系统,redis,bbolt) 高度灵活的配置 内置promethesu metrcis 支持 高性能 字节范围 阅读全文

posted @ 2020-02-22 19:41 荣锋亮 阅读(448) 评论(0) 推荐(0)

pgspider clickhouse fdw docker 镜像的几点说明

摘要: clickhouse 的fdw 是基于odbc 开发的,同时也需要依赖libclickhouse 以下是对于构建中的一些说明 预备说明 实际上大部分官方文档已经提供了 odbc 说明 需要下载编译好的,地址https://github.com/ClickHouse/clickhouse-odbc/r 阅读全文

posted @ 2020-02-22 12:47 荣锋亮 阅读(578) 评论(0) 推荐(0)

pgspider clickhouse fdw 试用

摘要: 昨天有构建过一个clickhouse 的fdw docker 镜像,今天测试下 环境使用docker-compose 运行,clickhouse 同样也是 环境准备 docker-compose 环境 version: "3" services: server: image: yandex/clic 阅读全文

posted @ 2020-02-22 12:30 荣锋亮 阅读(681) 评论(0) 推荐(0)

2020年2月21日

pgspider clickhouse fdw docker 镜像

摘要: 老样子集成base 镜像构建,以下是clickhouse dockerfile Dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-get install -y openss 阅读全文

posted @ 2020-02-21 23:19 荣锋亮 阅读(360) 评论(0) 推荐(0)

2020年2月19日

cube.js 集成opendistro elasticsearch bug 的原因说明

摘要: 通过直接调用elasticsearch 的nodejs sdk 发现问题的原因是opendistro sql 扩展对于sql 的支持与elasticsearch 官方的有差异,主要是数据返回格式上,看看是否有兼容的方案 阅读全文

posted @ 2020-02-19 11:27 荣锋亮 阅读(325) 评论(0) 推荐(0)

cube.js opendistro elasticsearch 试用以及几个bug

摘要: 前边有说明,cube.js 已经es 以下是通过opendistro的一个简单的试用(没跑通,后边有时间可以尝试下找下原因) opendistro 环境准备 docker-compose 文件 注意es 版本,目前cube.js 是7.6 的es npm 包,所以最好是兼容的,因为部分版本还是有兼容 阅读全文

posted @ 2020-02-19 10:46 荣锋亮 阅读(820) 评论(0) 推荐(0)

2020年2月18日

cube.js 支持 elasticsearch

摘要: cube.js 已经支持es 的分析了, 原理是基于sql,因为cube.js 的核心就是基于sql 的处理,所以只要是能基于sql 的处理,基本上基于cube.js 都是可以扩展的,大概看了下,官方是通过elasticsearch 的sql api 支持的,同时对于amazon 的opendist 阅读全文

posted @ 2020-02-18 22:38 荣锋亮 阅读(368) 评论(0) 推荐(0)

cube.js schema 学习二

摘要: cube.js 从那发布,到现在也已经有了很大的变动了,比如多租户,多数据源的支持,同时schema 也有了好多新的 类型支持,以下是基于新版本的一个学习 通用格式参考 cube(`Users`, { sql: `select * from users`, ​ joins: { Organizati 阅读全文

posted @ 2020-02-18 21:58 荣锋亮 阅读(549) 评论(0) 推荐(0)

iperf3+ethr 测试网络工具

摘要: 一般大家比较常用的是iperf,iperf3 是iperf 的升级版本,ethr 是微软开发的基于golang 的跨平台工具 以下是简单的使用 iperf3 server 启动 iperfs -s client iperf3 -c <ip> ethr 实际上与iperf3 类似,也都是-s -c , 阅读全文

posted @ 2020-02-18 14:02 荣锋亮 阅读(907) 评论(0) 推荐(0)

2020年2月16日

cube.js 学习 cli 命令

摘要: 平时经常用的cube.js 的命令主要是create 实际上还包含了其他方便的命令 create 生成cube.js 的脚手架app 命令使用 cubejs create APP-NAME -d DB-TYPE [-t TEMPLATE] 说明 -d 指定我们依赖的数据库类型 -t 指定模版 默认为 阅读全文

posted @ 2020-02-16 19:59 荣锋亮 阅读(410) 评论(0) 推荐(0)

cube.js 学习 cube 连接mongodb 试用三

摘要: 前边有简单介绍过连接mongodb 的方法,如果觉得使用mongobi 比较费事,通过mongo fdw 也是一种很不错的方式 原理说明 通过postgres 的mongo fdw 连接mongo,对于mongo 的数据访问,我们就可以直接使用pg 的drriver了,后边的操作 就是对于pg 的操 阅读全文

posted @ 2020-02-16 17:31 荣锋亮 阅读(388) 评论(0) 推荐(0)

cube.js 学习 cube 连接mongodb 试用二

摘要: 以前有写过在我我cube.js 连接mongo 的(通过mongodb bi-connector),当时没有考虑安全的问题(账户&&ssl) 以下是关于基于账户认证以及ssl 问题的说明,以下是简单的集成说明 环境准备 docker-compose mongo version: "3" servic 阅读全文

posted @ 2020-02-16 12:35 荣锋亮 阅读(541) 评论(3) 推荐(0)

2020年2月15日

mongodb 通过sql 查询的几种方式

摘要: sql 2 mongodb query 这个一些开发工具已经是支持的,同时也有一些框架支持(目前所了解到的支持的一般) sql 查询引擎 drill,presto。。。。都是不错的方案 torodb 的stampede 这个是一个类似的cdc 解决方案,很不错,但是目前不维护了。。。 mongodb 阅读全文

posted @ 2020-02-15 21:09 荣锋亮 阅读(6682) 评论(0) 推荐(0)

mongodb bi-connector spring boot 集成试用

摘要: 实际上没多少技术含量,就是spring data jdbc+mysql 数据访问而且,主要就是几个参数配置 spring boot 项目结构 使用官方的初始化器 代码结构 ├── HELP.md ├── demo.iml ├── mvnw ├── mvnw.cmd ├── pom.xml └── s 阅读全文

posted @ 2020-02-15 19:25 荣锋亮 阅读(553) 评论(0) 推荐(0)

mongodb bi-connector 使用

摘要: mongodb bi-connector 是一个方便的mongodb 2 sql 工具,我们可以使用sql 的强大查询能力,分析mongo的数据,以下是一些 简单操作,以及一些部署上的细节说明,后边会介绍spring boot 集成的说明 安装 为了方便测试使用本地docker 运行mongo+ 使 阅读全文

posted @ 2020-02-15 18:52 荣锋亮 阅读(3957) 评论(0) 推荐(0)

2020年2月14日

pgspider mongodb fdw 查询集成

摘要: 前边有简单说过关于mongodb fdw 容器构建的,一些是一些使用上的简单说明 环境准备 docker-compose 文件 version: "3" services: pg-mongo: image: dalongrong/pgspider:mongo ports: - "5432:5432" 阅读全文

posted @ 2020-02-14 11:16 荣锋亮 阅读(565) 评论(0) 推荐(0)

2020年2月13日

zombodb 关于索引的几个问题

摘要: es 数据丢失(误删) 现象 此情况下,通过zombodb dsl 方式查询会有异常,数据库sql 模式没问题(数据库数据在) 解决 需要重建索引,命令REINDEX index <indexname> es 故障(服务不可用) 现象 通过zombodb dsl 查询会有一样,同时数据的insert 阅读全文

posted @ 2020-02-13 18:33 荣锋亮 阅读(381) 评论(0) 推荐(0)

pgspider zombodb+opendistro 集成

摘要: zombodb 默认对于es的连接是没有密码的,很不安全,可选的方式,基于nginx+basci auth 使用es 的X-Pack,使用amazon的opendistro 也是一个很不错的方案,以下是一个简单测试,同时 会有关于使用basic auth 模式的连接配置 注意,测试使用的pg zom 阅读全文

posted @ 2020-02-13 13:59 荣锋亮 阅读(403) 评论(0) 推荐(0)

pgspider zombodb集成使用

摘要: zombodb 是一个强大的pg 扩展,我们可以像操作数据库一样操作es,以下是pgspider 与zombodb 的构建 说明,使用最新版本v5.6.16-1.0.20 构建失败,使用了v.40 dockerfile 老样子基于已经构建好的pgspider base 镜像 FROM dalongr 阅读全文

posted @ 2020-02-13 11:41 荣锋亮 阅读(514) 评论(0) 推荐(0)

Writing a Foreign Data Wrapper

摘要: 转自:greenplum 官方的一片文档 https://gpdb.docs.pivotal.io/6-0/admin_guide/external/g-devel-fdw.html pg 是类似的 This chapter outlines how to write a new foreign-d 阅读全文

posted @ 2020-02-13 08:25 荣锋亮 阅读(351) 评论(0) 推荐(0)

2020年2月12日

pgspider griddb fdw +plv8 集成使用

摘要: 以下是一个简单的griddb fdw 与plv8 的集成,同时添加了node require 模块的支持,可以实现灵活的系统扩展 pgspider plv8 docker镜像制作 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /a 阅读全文

posted @ 2020-02-12 18:55 荣锋亮 阅读(447) 评论(0) 推荐(0)

griddb 集群大小评估算法

摘要: griddb 官方提供了一套计算公式,我们可以用来方便的评估集群规模以及使用的资源大小 总内存使用 需要考虑的因素 row 数据的大小 需要注册的rows 评估公式 此为单collection 的,总的需要计算所有的集合 Memory capacity used = row data size × 阅读全文

posted @ 2020-02-12 09:35 荣锋亮 阅读(393) 评论(0) 推荐(0)

pgspider griddb fdw 通过固定列表server 连接配置

摘要: 对于实际使用可靠,稳定是大家比较关心的问题,从过年griddb fdw github 文档上我们看到的就是 可以使用多播地址以及固定ip notificationMember 信息,实际上我们可以通过查看源码发现可以和 java 应用(实际上client sdk 一样)的配置多个ip,保证fdw 连 阅读全文

posted @ 2020-02-12 08:41 荣锋亮 阅读(277) 评论(0) 推荐(0)

2020年2月11日

griddb java 应用连接配置

摘要: 默认如果大家去看官方介绍,会推荐我们使用基于多播的ip 配置进行链接,但是很多时候不是很好(环境不支持) 可选的方式有: 指定多notificationMember,这个官方文档暂时没找到,但是通过查看java client 的源码,我们发现可以直接多个方式为, 分割 使用lb(理论上是没有问题的, 阅读全文

posted @ 2020-02-11 14:45 荣锋亮 阅读(374) 评论(0) 推荐(0)

griddb 集群简单学习

摘要: griddb集群可以使用多种方式部署 多播集群 静态配置(固定列表) url 地址provider 以下是一个简单的基于固定node 节点列表的模式部署 环境准备 为了方便使用docker-compose 部署,同时使用估计ip 分配模式 docker-compose 文件 version: "3" 阅读全文

posted @ 2020-02-11 13:06 荣锋亮 阅读(955) 评论(0) 推荐(0)

pgspider redis fdw pub && sub 试用

摘要: redis fdw 封装的redis 操作功能还是比较强大的,同时支持通过insert 的方式publish messag 以下是一个简单的学习(但是按照原理应该也是可以sub的 (select message,细节可以看看源码)) 环境准备 dockerc-compose 文件 version: 阅读全文

posted @ 2020-02-11 10:28 荣锋亮 阅读(424) 评论(0) 推荐(0)

pgspider redis fdw 试用

摘要: 目前redis 的fdw有好几个,github 上有一个start 比较高的,但是对于新版本pg 支持不好,目前使用了 https://github.com/nahanni/rw_redis_fdw,以下是docker 镜像的构建以及试用 dockerfile 老样子基于base 镜像构建 FROM 阅读全文

posted @ 2020-02-11 09:11 荣锋亮 阅读(1108) 评论(0) 推荐(0)

2020年2月10日

pgspider oracle fdw docker 镜像简单使用说明

摘要: 基于pgspider 的orcle fdw 已经制作了一个docker 镜像(今天通过测试,可用),以下是使用的简单说明 使用说明 // 创建扩展 CREATE EXTENSION oracle_fdw; // 创建server CREATE SERVER oradb FOREIGN DATA WR 阅读全文

posted @ 2020-02-10 17:30 荣锋亮 阅读(524) 评论(0) 推荐(0)

pgspider tds fdw sql server docker 镜像中文乱码问题解决

摘要: 以下说明几个中文乱码的问题: 在直接使用linux sql server 因为默认为英文,所以会有中文编码的问题 因为系统使用freetds 配置问题(默认会结合操作系统进行语言处理,还有就是配置文件) 几种解决方法 修改docker 运行配置 version: "3" services: pg-t 阅读全文

posted @ 2020-02-10 16:42 荣锋亮 阅读(660) 评论(0) 推荐(0)

2020年2月9日

pgspider tds fdw sql server docker 镜像试用

摘要: 前边有制作过一个tds 的fdw,以下是一个简单的试用 环境准备 docker-compose 文件 使用sql server Linux 版本 version: "3" services: pg-tds: image: dalongrong/pgspider:tds ports: - "5432: 阅读全文

posted @ 2020-02-09 22:23 荣锋亮 阅读(425) 评论(0) 推荐(0)

2020年2月8日

pgspider oracle docker 镜像

摘要: 对于pg 有一个oracle_fdw的扩展,很不错,可以集成oracle 的数据访问,以下是docker 镜像的制作 dockerfile FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-ge 阅读全文

posted @ 2020-02-08 23:58 荣锋亮 阅读(308) 评论(0) 推荐(0)

2020年2月7日

pgspider 常用pg 扩展docker 镜像

摘要: 在实际的使用中我们可能不只是一个简单的pg 扩展,而是使用多种,所以基于现有的构建了一个 支持mysql,mongo,sqlite,influxdb,griddb,sql server 的镜像(oracle 的后期尝试添加) Dockerfile FROM dalongrong/pgspider:b 阅读全文

posted @ 2020-02-07 21:55 荣锋亮 阅读(476) 评论(0) 推荐(0)

使用 pgspider griddb fdw 让griddb 支持hasura graphql-engine

摘要: 原理很简单,就是通过griddb fdw 暴露griddb 的数据操作为正常的pg 操作,后然就可以使用hasura graphql-engine 了 参考环境准备 version: "3" services: graphql-engine: image: hasura/graphql-engine 阅读全文

posted @ 2020-02-07 16:10 荣锋亮 阅读(268) 评论(0) 推荐(0)

pgspider griddb 试用

摘要: 前边有构建一个简单的pgspider griddb fdw 的docker 镜像,以下是一个简单的试用 一些说明 关于pgspider griddb fdw 的构建目前4.3 有bug,使用的是4.2版本的,同时对于java 链接使用member ip,不是广播地址ip 环境准备 griddb 自己 阅读全文

posted @ 2020-02-07 15:38 荣锋亮 阅读(367) 评论(0) 推荐(0)

2020年2月6日

pgspider griddb docker 镜像

摘要: pgspider 官方提供了griddb 的fdw,以下是docker 构建说明 Dockerfile 说明,都是基于base 镜像构建的 FROM dalongrong/pgspider:base as build WORKDIR /app RUN apt-get update && apt-ge 阅读全文

posted @ 2020-02-06 19:42 荣锋亮 阅读(214) 评论(0) 推荐(0)

pgspider influxdb 扩展使用以及docker 镜像构建说明

摘要: influxdb 是官方提供的fdw,对于influxdb 的访问是通过cgo 直接到处golang 的调用为c 调用(实际上也有一个直接使用golang 编写pg 扩展的项目plgo) 一些说明 对于pgspider 的构建是通过一个base 镜像构建的,但是以为依赖golang 所以提供了一个额 阅读全文

posted @ 2020-02-06 15:25 荣锋亮 阅读(612) 评论(0) 推荐(0)

上一页 1 ··· 77 78 79 80 81 82 83 84 85 ··· 133 下一页

导航