荣锋亮 - 博客园

编写一个简单的基于jmespath 的prometheus exporter

摘要：目的很简单，因为系统好多监控指标是通过json 暴露的，并不是标准的prometheus metrics 格式，处理方法实际上很简单，我们可以基于jsonpath 解析json数据，转换为prometheus metrics 但是感觉查询能力一般，个人还是比较喜欢jmespath，目前已经有一个阅读全文

posted @ 2019-04-16 13:29 荣锋亮阅读(696) 评论(0) 推荐(0)

nginx ngx_http_image_filter_module 简单试用

摘要： nginx包含了一个ngx_http_image_filter_module 模块，我们可以方便的进行图片的缩略图，平时一些简单的功能已经够用了环境准备为了简单使用docker-compose 运行，因为openresty 已经默认集成了这个模块，就不用安装了 docker-compose 文阅读全文

posted @ 2019-04-15 12:37 荣锋亮阅读(2116) 评论(0) 推荐(0)

edgedb 基本试用

摘要：环境准备使用docker-compose 运行 docker-compose 文件 version: "3" services: db: image: edgedb/edgedb ports: - "5656:5656" - "8888:8888" 基本数据库schema 操作修改密码进入容器阅读全文

posted @ 2019-04-14 00:31 荣锋亮阅读(1106) 评论(0) 推荐(1)

influxdb 全家桶运行

摘要：一个简单的demo，集成了telegraf，influxdb，chronograf，kapacitor，nginx，一张来自官方的参考图组件集成图环境准备使用docker-compose docker-compose 文件 version: "3" services: nginx: image 阅读全文

posted @ 2019-04-13 13:41 荣锋亮阅读(1147) 评论(0) 推荐(0)

Introducing Outflux: a smart way out of InfluxDB

摘要：转自：https://blog.timescale.com/migrate-outflux-a-smart-way-out-of-influxdb/ Migrate your workload from InfluxDB to TimescaleDB with just a single comma 阅读全文

posted @ 2019-04-12 11:17 荣锋亮阅读(324) 评论(0) 推荐(0)

使用outflux 导入influxdb 的数据到timescaledb

摘要： influxdb 以及timescaledb 都是不错的时序数据库，timescaledb 团队提供了直接从influxdb 导入环境准备 docker-compose 文件 version: "3" services: timescaledb: image: timescale/timescal 阅读全文

posted @ 2019-04-12 11:12 荣锋亮阅读(676) 评论(0) 推荐(0)

edgedb 强大的对象关系数据库

摘要： edgedb 是一个强大的对象关系数据库，构建在pg 之上。包含的特性：严格的强类型模式; 强大而富有表现力的查询语言; 丰富的标准库; 内置支持模式迁移; 本机GraphQL支持。数据模型从表现上，类似graphql 的type 定义,如下： type User { required pr 阅读全文

posted @ 2019-04-12 09:44 荣锋亮阅读(501) 评论(0) 推荐(0)

Announcing the Operate Preview Release: Monitoring and Managing Cross-Microservice Workflows

摘要：转自：https://zeebe.io/blog/2019/04/announcing-operate-visibility-and-problem-solving/ Written by Mike Winters on Apr 9 2019 in the Releases category. To 阅读全文

posted @ 2019-04-11 14:41 荣锋亮阅读(287) 评论(0) 推荐(0)

goaccess iis w3c 自定义log 格式参考

摘要： goaccess 支持强大的自定义log 格式，比如我们需要分析iis w3c 格式日志参考iis w3c 字段 date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc- 阅读全文

posted @ 2019-04-11 14:28 荣锋亮阅读(740) 评论(0) 推荐(0)

goaccess 通过jsonpath 转换为prometheus metrics

摘要： goaccess 是一个不错的日志分析工具，包含了json 数据同时支持基于websocket 的实时数据处理，当然我们可以通过jsonpath 的exporter 转换为支持promethues 的metrics，还是很方便的环境准备 docker-compose 文件 version: "3" 阅读全文

posted @ 2019-04-11 13:02 荣锋亮阅读(1044) 评论(0) 推荐(0)

nomad 0.9 新特性

摘要：内容摘自github Affinities and Spread: Jobs may now specify affinities towards certain node attributes. Affinities act as soft constraints, and inform the 阅读全文

posted @ 2019-04-10 20:53 荣锋亮阅读(291) 评论(0) 推荐(0)

goaccess geoip 测试

摘要： goaccess 是一个很不错的日志实时统计分析工具,我们可以用来方便的分析nginx apcahe iis 等的日志信息对于geoip 的支持是需要源码编译的，所以基于官方docker 镜像添加了geoip 的支持 dockerfile # Builds a goaccess image fro 阅读全文

posted @ 2019-04-10 15:51 荣锋亮阅读(1461) 评论(0) 推荐(0)

使用fpm 方便快速生成postgresql extension分发包

摘要： fpm 是一个不错，而且强大的rpm、deb，系统启动服务工具包，我们可以用来快速的生成专业的软件分发包演示一个pg 扩展包分发包的生成（rpm 以及deb）安装fpm sudo gem install --no-ri --no-rdoc fpm clone pg 扩展项目代码已经写好了，使用阅读全文

posted @ 2019-04-09 13:34 荣锋亮阅读(374) 评论(0) 推荐(0)

使用fpm 软件包打包

摘要：安装 sudo gem install --no-ri --no-rdoc fpm 简单使用一个 redis的简单demo % ls src/redis-server redis.conf src/redis-server redis.conf # install src/redis-server 阅读全文

posted @ 2019-04-08 22:33 荣锋亮阅读(510) 评论(0) 推荐(1)

使用golang 编写postgresql 扩展

摘要： postgresql 的扩展可以帮助我们做好多强大的事情，支持的开发语言有lua、perl、java、js、c 社区有人开发了一个可以基于golang开发pg 扩展的项目，使用起来很方便，同时为我们生成了 pg 扩展依赖的文件 control 、sql 文件，以及编译好的共享库注意我使用的是cen 阅读全文

posted @ 2019-04-08 19:06 荣锋亮阅读(2234) 评论(0) 推荐(0)

WRITING POSTGRESQL TRIGGERS IN GO

摘要：转自：https://www.opsdash.com/blog/postgresql-triggers-golang.html 可以学习如何使用golang 编写pg extension Triggers in PostgreSQL are a simple yet powerful mechani 阅读全文

posted @ 2019-04-07 22:59 荣锋亮阅读(239) 评论(0) 推荐(0)

C-Language Functions

摘要：转自：https://www.postgresql.org/docs/9.6/xfunc-c.html 可以作为学习基于c编写pg extension 的资料 36.9. C-Language Functions User-defined functions can be written in C 阅读全文

posted @ 2019-04-07 22:57 荣锋亮阅读(342) 评论(0) 推荐(0)

algernon 基于golang 的独立的支持redis lua pg。。。的web server

摘要： algernon 看到github 的介绍很很强大，一下子想到了openresty，功能看着很强大，支持 redis pg lua markdown quic http2 mysql 限速 pongo2 sass（scss） web 相关的 jsx （js dsl 模板写法）说明看官方介绍和很强阅读全文

posted @ 2019-04-05 09:00 荣锋亮阅读(473) 评论(0) 推荐(0)

使用deb 打包开发的postgres extension 另外一种方法

摘要：已经写过一个deb 包打包的方法，我们同时也可以使用dpkg-deb 命令安装依赖工具包推荐安装全点的 sudo apt-get install build-essential autoconf automake \ autotools-dev dh-make debhelper devscri 阅读全文

posted @ 2019-04-04 15:57 荣锋亮阅读(459) 评论(0) 推荐(0)

使用deb 打包开发的postgres extension

摘要：昨天写过一个使用rpm 打包分发pg 扩展的demo，今天使用deb 进行打包分发，同时使用checkinstall 生成我们的deb包安装deb 依赖 sudo apt-get install checkinstall build-essential automake autoconf libt 阅读全文

posted @ 2019-04-04 14:42 荣锋亮阅读(357) 评论(0) 推荐(0)

ubuntu deb pacakge 开发

摘要：安装构建工具 apt-get install pbuilder 推荐安装 sudo apt-get install build-essential autoconf automake \ autotools-dev dh-make debhelper devscripts fakeroot \ xu 阅读全文

posted @ 2019-04-04 14:41 荣锋亮阅读(323) 评论(0) 推荐(0)

What’s New In GRANDstack?

摘要：转自：https://blog.grandstack.io/whats-new-in-grandstack-310c067fea4a There’s been a lot of activity in the GRANDstack world recently so in this post we 阅读全文

posted @ 2019-04-04 08:35 荣锋亮阅读(546) 评论(0) 推荐(0)

How to create an rpm package

摘要：转自：https://linuxconfig.org/how-to-create-an-rpm-package Rpm is both the package manager and the package format used by many linux distributions such a 阅读全文

posted @ 2019-04-03 21:25 荣锋亮阅读(314) 评论(0) 推荐(0)

一篇讲解如何调试pg 扩展的文章

摘要：以下链接这片关于pg 扩展调试的文章挺不错，记录下 http://big-elephants.com/2015-10/writing-postgres-extensions-part-iii/ 阅读全文

posted @ 2019-04-03 19:35 荣锋亮阅读(330) 评论(0) 推荐(0)

使用rpm 打包开发的postgres extension

摘要：环境准备安装依赖包 rpmdevtools rpm-build yum install -y rpm-build rpmdevtools 初始化rpm pacakge 项目主要是rpm 打包的目录结构使用rpmdev-setuptree 工具效果如下： ── rpmbuild ├── BUI 阅读全文

posted @ 2019-04-03 19:04 荣锋亮阅读(578) 评论(0) 推荐(0)

开发一个简单的postgresql extension

摘要：主要是学习如何编写一个简单的pg extension，参考https://severalnines.com/blog/creating-new-modules-using-postgresql-create-extension 目的创建一个类似oracel 的nvl 函数项目创建为了简化使用，阅读全文

posted @ 2019-04-03 13:09 荣锋亮阅读(1520) 评论(0) 推荐(0)

How to Create an PostgreSQL Extension

摘要：转自：https://severalnines.com/blog/creating-new-modules-using-postgresql-create-extension Extensibility is one of the most powerful feature in PostgreSQ 阅读全文

posted @ 2019-04-03 12:53 荣锋亮阅读(555) 评论(0) 推荐(0)

zombodb 几点说明

摘要：内容来自官方文档，截取部分默认es 索引的副本为0 这个参考可以通过修改索引，或者在创建的时候通过with 参数指定，或者通过pg 的配置文件中指定索引更多的列以为这使用了更多的es 能力索引的列越多，说明我们对于es 的使用更好，可以更好的使用es 的能力 zombodb 存储整个数据在es 阅读全文

posted @ 2019-04-03 10:33 荣锋亮阅读(465) 评论(0) 推荐(0)

zombodb query dsl

摘要： zombodb query dsl 是为了简化es 查询的处理，同时可以兼容基本上所有的es 操作一个简单的查询,查询任何字段包含cats 以及dogs 的 SELECT * FROM table WHERE table ==> <cats and dogs query here> zombodb 阅读全文

posted @ 2019-04-03 09:59 荣锋亮阅读(442) 评论(0) 推荐(0)

zombodb 数据类型映射

摘要： zombodb 与es 数据类型的映射处理通用数据类型映射 Postgres 类型Elasticsearch JSON 映射定义 bytea {"type": "binary"} boolean {"type": "boolean"} smallint {"type": "short"} inte 阅读全文

posted @ 2019-04-03 09:39 荣锋亮阅读(411) 评论(0) 推荐(0)

Amundsen — Lyft’s data discovery & metadata engine

摘要：转自：https://eng.lyft.com/amundsen-lyfts-data-discovery-metadata-engine-62d27254fbb9 In order to increase productivity of data scientists and research s 阅读全文

posted @ 2019-04-03 08:15 荣锋亮阅读(510) 评论(0) 推荐(0)

The Twelve-Factor Container

摘要：转自：https://medium.com/notbinary/the-twelve-factor-container-8d1edc2a49d4?%24identity_id=550978996201189678&feature=Share&type=0&duration=0&data=eyIkb2 阅读全文

posted @ 2019-04-03 08:13 荣锋亮阅读(343) 评论(0) 推荐(0)

zombodb sql functions 说明

摘要： zombodb 提供了好多方便的sql 函数工具类以及帮助函数查看zombodb 版本zdb.version() select * from zdb.version(); version 10-1.0.3 (1 row) es http 请求的 zdb.request 函数签名 FUNCTION 阅读全文

posted @ 2019-04-02 18:17 荣锋亮阅读(210) 评论(0) 推荐(0)

zombodb 得分以及高光

摘要：得分以及高光在搜索引擎中有很重要的作用得分zdb.score 使用方法 zdb.score(tid) 参考示例 SELECT zdb.score(ctid), * FROM products WHERE products ==> 'sports box' ORDER BY score desc; 阅读全文

posted @ 2019-04-02 16:16 荣锋亮阅读(269) 评论(0) 推荐(0)

windows openssh 设置root 目录

摘要：默认windows openssh 服务的root 目录是用户账户所在的目录(一般是administrator)，但是我们可以通过修改sshd_config 重新修改路径可选的修改方式直接修改sshd 的配置然后重启服务 C:\ProgramData\ssh\sshd_config 目录添加如下阅读全文

posted @ 2019-04-02 15:16 荣锋亮阅读(6161) 评论(0) 推荐(0)

zombodb 聚合函数

摘要： zombodb 暴露基本上所有es 的集合函数为sql 函数，我们可以方便使用比如 count FUNCTION zdb.count( index regclass, query zdbquery) RETURNS bigint 说明详细参数使用参考github 项目文档，而且和es 的命名基本阅读全文

posted @ 2019-04-02 11:15 荣锋亮阅读(278) 评论(0) 推荐(0)

zombodb 索引管理

摘要： zombodb 支持标准的index 管理（create 、alter、drop）创建索引 CREATE INDEX index_name ON table_name USING zombodb ((table_name.*)) WITH (...) 修改索引 ALTER INDEX index_ 阅读全文

posted @ 2019-04-02 10:51 荣锋亮阅读(528) 评论(0) 推荐(0)

zombodb 索引创建

摘要：索引的创建是zombodb 的核心，我们都是需要先创建table，然后创建索引，创建的时候我们可以指定es 集群的地址，同时可能需要使用一些地址api（比如数据直接存储在es 中而不是pg 中）表创建 CREATE TABLE products ( id SERIAL8 NOT NULL PRI 阅读全文

posted @ 2019-04-02 10:36 荣锋亮阅读(353) 评论(0) 推荐(0)

zombodb 低级api 操作

摘要： zombodb 低级api 允许直接从zombodb 索引中进行insert、delete 文档，同时保留了mvcc 的特性，但是数据没有存储在 pg 中，但是也带来数据上的风险，我们需要注意进行es 数据的备份 api 说明 FUNCTION zdb.llapi_direct_insert(ind 阅读全文

posted @ 2019-04-02 10:20 荣锋亮阅读(298) 评论(0) 推荐(0)

zombodb 几个方便的_cat api

摘要： zombodb 暴露所有es _cat/ api 为视图，我们可以通过视图方便的查询es 的信息，默认在zdb的schema 中包含的视图几个方便的view 查看索引统计信息zdb.index_stats select * from zdb.index_stats; -[ RECORD 1 ] 阅读全文

posted @ 2019-04-02 09:54 荣锋亮阅读(406) 评论(0) 推荐(0)

导航

公告