荣锋亮 - 博客园

jenkins 使用smtp2http 邮件服务，扩展灵活的构建通知功能

摘要： smtp2http 是一个很方便的可以将smtp 转换为http 服务的工具，同时也支持扩展的开发，我们可以使用此工具扩展灵活的ci、cd 生命周期管理，而不是简单的邮件处理备注：使用docker-compose 运行环境准备 docker-compose 文件注意为了方便使用了一个web 阅读全文

posted @ 2019-01-17 18:54 荣锋亮阅读(639) 评论(0) 推荐(0)

nuxt docker 运行

摘要： nuxt 是vue 版的next ，实现的功能还是很方便的，对于需要开发性能要求比较高的web app 是一个很不错的选择备注：项目很简单，使用docker && docker-compose 运行，同时对于静态页面的处理使用了 docker 的多阶段处理，通过nginx 提供服务，服务端的运行阅读全文

posted @ 2019-01-17 15:04 荣锋亮阅读(2780) 评论(0) 推荐(0)

src-d engine 强大的git 历史分析工具

摘要： src-d engine 包含了Babelfish ，同时可以看作是Babelfish 的升级版本，我们可以使用sql 进行代码分析备注：注意运行的时候需要容器支持使用安装docker 参考相关文档，或者直接安装docker for desktop 版本的参考相关文档，或者直接安装dock 阅读全文

posted @ 2019-01-15 21:27 荣锋亮阅读(696) 评论(0) 推荐(1)

Babelfish 基本试用

摘要：测试使用docker 部署 docker-compose文件注意网络模型选择的host,同时配置了opentracing 服务 version: "3" services: bblfsh: image: bblfsh/bblfshd privileged: true environment: - 阅读全文

posted @ 2019-01-15 20:21 荣锋亮阅读(1246) 评论(0) 推荐(0)

Babelfish 开源通用代码解析服务

摘要： Babelfish 是一个开源的代码解析服务参考架构支持的语言 bash go java javascript php ruby c++ typescript 功能我们可以使用此工具，进行大规模的代码分析，对于做ci/cd （devops）很方便运行最简单的方式是使用docker 运行阅读全文

posted @ 2019-01-15 15:04 荣锋亮阅读(530) 评论(0) 推荐(0)

sqler sql 转rest api 源码解析（四）macro 的执行

摘要： macro 说明 macro 是sqler 的核心，当前的处理流程为授权处理，数据校验，依赖执行（include），聚合处理，数据转换处理，sql 执行以及sql 参数绑定授权处理这个是通过golang 的js 包处理的，通过将golang 的http 请求暴露为js 的fetch 方法，放在阅读全文

posted @ 2019-01-14 19:09 荣锋亮阅读(596) 评论(0) 推荐(0)

sqler sql 转rest api 源码解析（三） rest协议

摘要： rest 服务说明 rest 协议主要是将配置文件中的宏暴露为rest 接口，使用了labstack/echo web 框架，同时基于context 模型进行宏管理对象的共享，同时进行了一些中间件的注册 cors RemoveTrailingSlash gzip Recover rest 启动中阅读全文

posted @ 2019-01-14 17:38 荣锋亮阅读(717) 评论(0) 推荐(0)

sqler sql 转rest api 源码解析（二） resp 协议

摘要： resp 协议主要是方便使用redis 客户端进行连接，resp 主要是依赖 tidwall/redcon golang redis 协议包 resp 服务说明 server_resp.go 文件，干的事情比较简单，就是redis command 的支持，包含了几个内置的 ping select h 阅读全文

posted @ 2019-01-14 17:24 荣锋亮阅读(536) 评论(0) 推荐(0)

sqler sql 转rest api 源码解析（一）应用的启动入口

摘要： sqler sql 转rest api 的源码还是比较简单的，没有比较复杂的设计，大部分都是基于开源模块实现的。说明：当前的版本为2.0,代码使用go mod 进行包管理，如果本地运行注意golang 版本，我使用docker 运行，参考 https://github.com/rongfen 阅读全文

posted @ 2019-01-14 16:44 荣锋亮阅读(630) 评论(0) 推荐(0)

sqler sql 转rest api 2.0 试用

摘要： sqler 的迭代还是很快的，已经2.0 了，2.0 有好多新功能的添加，同时也有好多不兼容的修改说明：测试使用docker-compose，同时我已经push 了docker 镜像 dalongrong/sqler 发布说明添加 aggregate 移除 authorizers hooks 阅读全文

posted @ 2019-01-14 10:47 荣锋亮阅读(744) 评论(0) 推荐(0)

sqler sql 转rest api 数据聚合操作

摘要： sqler 2.0 提供了一个新的指令aggregate，注意这个和sql 的聚合函数不是一个概念，这个只是为了方便api数据的拼接参考格式 databases { exec = "SHOW DATABASES" transformer = <<JS // there is a global 阅读全文

posted @ 2019-01-14 10:10 荣锋亮阅读(908) 评论(0) 推荐(0)

sqler sql 转rest api 数据校验的处理

摘要：早期版本（2.0 之前）使用rules 进行数据校验处理，2.0 之后进行了修改使用 validators，这样更加明确参考格式 addpost { // if any rule returns false, // SQLer will return 422 code, with invalid 阅读全文

posted @ 2019-01-14 10:08 荣锋亮阅读(273) 评论(0) 推荐(0)

sqler sql 转rest api 防止sql 注入

摘要： sqler 对于sql Sanitization 的处理，我们可以使用bind 指令说明：这个是2.0 的功能，注意版本的使用参考格式 addpost { // $input is a global variable holds all request inputs, // including 阅读全文

posted @ 2019-01-14 10:04 荣锋亮阅读(548) 评论(0) 推荐(0)

sqler sql 转rest api 授权处理

摘要：我们可以使用内置的authorizer 以及js 脚本，方便的进行api 接口的授权处理说明：这个是2.0 的功能，注意版本的使用参考格式 addpost { authorizer = <<JS (function(){ // $input is a global variable holds 阅读全文

posted @ 2019-01-14 09:55 荣锋亮阅读(363) 评论(0) 推荐(0)

goreplay 输出流量捕获数据到 elasticsearch

摘要： goreplay 是一个很不错的流量拷贝，复制工具，小巧，支持一些扩展，当然也提供了企业版，企业版功能更强大，支持二进制协议的分析。为了方便数据的存储，我们可以使用es 进行存储环境准备 docker-compose version: "3" services: nginx: build: 阅读全文

posted @ 2019-01-13 12:39 荣锋亮阅读(1947) 评论(0) 推荐(0)

goreplay 镜像nginx web app流量

摘要： goreplay 是一个很不错的流量拷贝，复制工具，小巧，支持一些扩展，当然也提供了企业版，企业版功能更强大，支持二进制协议的分析备注：演示使用docker-compose 运行，测试镜像流量到其他的两个web app （openresty）环境准备 docker-compose 文件 ve 阅读全文

posted @ 2019-01-13 11:06 荣锋亮阅读(1201) 评论(0) 推荐(0)

tile38 server 密码保护

摘要：默认tile38 是没有密码保护的，我们可以通过配置指定密码,类似redis 的，但是redis 的一般我们是配置在配置文件中的环境准备 docker-compose 文件 version: "3" services: app: image: tile38/tile38 ports: - "98 阅读全文

posted @ 2019-01-12 20:58 荣锋亮阅读(618) 评论(0) 推荐(0)

tile38 roaming-geofences 试用

摘要： tile38 支持动态实时的移动对象的数据监控环境准备 docker-compose 文件 version: "3" services: app: image: tile38/tile38 ports: - "9851:9851" benthos: image: jeffail/benthos v 阅读全文

posted @ 2019-01-12 20:45 荣锋亮阅读(639) 评论(0) 推荐(0)

tile38 复制配置

摘要：基于复制我们可以保证tile38 server 的ha 环境准备 docker-compose 文件说明里面多了一个webhook 的服务，可以不用管 version: "3" services: app: image: tile38/tile38 ports: - "9851:9851" app 阅读全文

posted @ 2019-01-12 11:25 荣锋亮阅读(683) 评论(0) 推荐(0)

The Guardian’s Migration from MongoDB to PostgreSQL on Amazon RDS

摘要：转载一片mongodb 迁移pg 数据库的文章原文：https://www.infoq.com/news/2019/01/guardian-mongodb-postgresql The Guardian migrated their CMS's datastore in 2018 from a s 阅读全文

posted @ 2019-01-12 11:11 荣锋亮阅读(267) 评论(0) 推荐(0)

tile38 一款开源的geo 数据库

摘要： tile38 是基于golang 编写的geo 数据库，支持地理空间索引、实时地理围栏，同时也支持leader-flower 的部署模型备注：下边测试一个简单的地理围栏功能环境准备 docker-compose 文件包含了一个简单的webhook 工具 version: "3" servic 阅读全文

posted @ 2019-01-12 11:08 荣锋亮阅读(2878) 评论(0) 推荐(0)

sqler sql 转rest api 的docker 镜像构建（续）使用源码编译

摘要： sqler 在社区的响应还是很不错的，已经添加了好多数据库的连接，就在早上项目的包管理还没有写明确，下午就已经有go mod 构建的支持了，同时也调整下docker 镜像的构建，直接使用git clone + go mod 备注： go mod 是新的包管理方案，需要新版本的golang，使用容器阅读全文

posted @ 2019-01-11 19:07 荣锋亮阅读(369) 评论(0) 推荐(0)

sqler sql 转rest api javascript 试用

摘要： sqler 内嵌了一个js 引擎的实现（基于goja,当我们配置了exec的配置之后调用宏（redis 接口）或者rest api 的时候会有一个全局变量$result ，保存了执行的结果，我们可以通过js 操作数据对象，比如进行数据改写，进行一些额外的数据控制。同时默认的demo 配置的da 阅读全文

posted @ 2019-01-11 11:39 荣锋亮阅读(516) 评论(0) 推荐(0)

sqler sql 转rest api redis 接口使用

摘要： sqler 支持redis 协议，我们可以用过redis client 连接sqler，他会将宏住转换为redis command 实现上看源码我们发现是基于一个开源的redis 协议的golang 实现，同时sqler 内置了一些方便的command ： list、 info、 echo、sel 阅读全文

posted @ 2019-01-11 09:35 荣锋亮阅读(835) 评论(0) 推荐(0)

sqler sql 转rest api 的docker image

摘要：最新sqler 又发布了一个版本，同时官方文档也更新，对于数据库的连接有了详细的说明 Dockerfile 为了方便以及减少大小，使用多阶段构建,同时都通过环境变量运行 FROM alpine:latest as build ENV VERSION=v1.6 WORKDIR /app RUN apk 阅读全文

posted @ 2019-01-11 08:39 荣锋亮阅读(329) 评论(0) 推荐(0)

sqler sql 转rest api 的工具试用

摘要： sqler 从开源很快就获取了1k的star，使用起来很方便，而且也很灵活，支持的数据库也比较多。支持的功能无需依赖，可独立使用；支持多种数据可类型，包括：SQL Server, MYSQL, SQLITE, PostgreSQL, Cockroachdb 等；内置 RESTful 服务器；阅读全文

posted @ 2019-01-10 22:02 荣锋亮阅读(2895) 评论(0) 推荐(0)

apache geode 试用

摘要：使用docker 运行,文档参考的官方的5 分钟学习文档拉取镜像 docker pull apachegeode/geode docker pull apachegeode/geode docker pull apachegeode/geode docker pull apachegeode/ge 阅读全文

posted @ 2019-01-10 16:15 荣锋亮阅读(1442) 评论(0) 推荐(0)

benthos v1 的一些新功能

摘要：主要从视频文件截取，暂时github 上还没有很全的相关文档 v1目标 config lint processor error 处理 subprocess processor awk processor sleep processor 说明部分processor github 上已经有文档了，但是阅读全文

posted @ 2019-01-10 09:20 荣锋亮阅读(494) 评论(0) 推荐(0)

Singer 学习十三发现模式

摘要：发现模式发现模式提供了一种描述tap 支持数据流的方式，使用了json schema 做为描述数据的结构以及每个数据流的类型，发现模式的实现依赖tap 的数据源，有些taps 将硬编码每个流的模式，而其他的将连接到提供可用流的描述的api，当运行发现模式时，tap 应该写如stdout 流列表阅读全文

posted @ 2019-01-09 22:36 荣锋亮阅读(325) 评论(0) 推荐(0)

Singer 学习十二指南

摘要：版本0.3.0 tap是一个应用程序，需要一个配置文件和可选的状态文件作为输入，并产生有序的流记录，状态和模式信息作为输出。一个记录是任何类型的JSON编码的数据。tap 状态消息用于保留一个调用之间的信息。一个模式消息描述stream 中的数据类型。Tap可以用任何编程语言实现。 tap设计阅读全文

posted @ 2019-01-09 19:10 荣锋亮阅读(443) 评论(0) 推荐(0)

Singer 学习十一配置以及状态管理

摘要：配置和状态文件通过提供身份验证信息，开始时间和有关以前调用的信息，帮助为Taps和Targets提供上下文配置文件配置文件包含tap 运行需要的信息，通常包含API，以及数据源的凭据特殊字段 start_data ,首次同步时候使用，指定数据同步的范围 user_agent 提供方便的问题解决阅读全文

posted @ 2019-01-09 18:50 荣锋亮阅读(335) 评论(0) 推荐(0)

Singer 学习十同步模式

摘要： sync 模式是属于tap 的操作，同步模式下，tap 需要提交 schema、 record 、state message， singer 指南对于每种类型有详细的说明 streams 每个stream 的metadata 包含了详细的用来进行sync 操作的控制说明 replication 方阅读全文

posted @ 2019-01-09 16:54 荣锋亮阅读(255) 评论(0) 推荐(0)

Singer 学习九运行&&开发taps、targets (四开发target)

摘要： singer 的target 需要从stdin 的行数据，同时处理schema、record、state 消息指南 schema 需要进行关联stream records 数据的校验一旦Target处理了State消息之前流中出现的所有数据，就将状态消息写入stdout。请注意，尽管State消阅读全文

posted @ 2019-01-09 16:25 荣锋亮阅读(220) 评论(0) 推荐(0)

Singer 学习八运行&&开发taps、targets (三开发tap)

摘要：如何没有找到适合的tap，那么我们可以自己开发一个 hello world tap 仅仅是一个程序，我们可以使用任何语言进行编写，根据singer 指南，输出数据到stdout 即可，实际上一个简单的 demo，可以直接使用命令行工具，不需要编写任何代码内容 printf '{"type":"SC 阅读全文

posted @ 2019-01-09 16:16 荣锋亮阅读(478) 评论(0) 推荐(0)

Singer 学习七运行&&开发taps、targets (二 targets 运行说明)

摘要：接上文： Singer 学习六运行&&开发taps、targets (一 taps 运行说明) 说明target 需要tap 进行配合运行，所以需要了解tap 的使用运行target 创建tap 可以参考上文 (1). 创建一个python3 的虚拟环境，并激活 python3 -m venv 阅读全文

posted @ 2019-01-09 15:25 荣锋亮阅读(340) 评论(0) 推荐(0)

Singer 学习六运行&&开发taps、targets (一 taps 运行说明)

摘要：文章内容来来自官方github 说明: singer大部分的taps && targets 是用python编写的，所以内容里面的代码也是使用python 编写使用python运行singer 运行singer 必须安装python 3.5 以及以上的版本，推荐的方式是使用python 的virt 阅读全文

posted @ 2019-01-09 15:13 荣锋亮阅读(419) 评论(0) 推荐(0)

Singer 学习五 docker 运行说明

摘要：介绍过一个工具knots ，方便Singer 可视化开发的工具，但是默认这个工具包含的tap 以及target 比较少（可以自己扩展）同时这个工具就是基于docker 运行的 docker 运行的几点说明使用交互模式开发环境建议使用数据卷挂载的模式生产环境我们可以直接按照tag 进行打包 d 阅读全文

posted @ 2019-01-09 13:19 荣锋亮阅读(544) 评论(0) 推荐(0)

Singer 学习四可视化数据操作工具

摘要： knots 是一款基于electron 开发的可视化UI界面，我们可以此工具进行方便的数据处理，注意工具使用了 docker 运行，需要安装docker 下载地址 https://github.com/singer-io/knots/releases https://github.com/singe 阅读全文

posted @ 2019-01-09 08:23 荣锋亮阅读(571) 评论(0) 推荐(0)

Singer 学习三使用Singer进行mongodb 2 postgres 数据转换

摘要： Singer 可以方便的进行数据的etl 处理，我们可以处理的数据可以是api 接口，也可以是数据库数据，或者是文件备注：测试使用docker-compose 运行&&提供数据库内容,使用virtualenv && python 3.5 以及以上环境准备 docker-compose 文件阅读全文

posted @ 2019-01-08 21:37 荣锋亮阅读(687) 评论(0) 推荐(0)

Singer 学习二使用Singer进行gitlab 2 postgres 数据转换

摘要： Singer 可以方便的进行数据的etl 处理，我们可以处理的数据可以是api 接口，也可以是数据库数据，或者是文件备注：测试使用docker-compose 运行&&提供数据库内容,使用virtualenv && python 3.5 以及以上环境准备 docker-compose 文件阅读全文

posted @ 2019-01-08 15:58 荣锋亮阅读(590) 评论(0) 推荐(0)

导航

公告