荣锋亮 - 博客园

Singer 学习一使用Singer进行mysql 2 postgres 数据转换

摘要： Singer 因为版本的问题，推荐的运行方式是使用virtualenv，对于taps&& target 的运行都是推荐使用此方式，不然包兼容的问题太费事了备注：使用docker-compose 运行数据库服务环境准备 docker-compose 文件数据库准备 version: "3" 阅读全文

posted @ 2019-01-08 15:13 荣锋亮阅读(1402) 评论(0) 推荐(0)

Singer 开源便捷的ETL 工具

摘要： singer 是一个强大，灵活的etl 工具，我们可以方便的提取web api，file，queue，基本上各种你可以想到的数据源。 singer 有一套自己的数据处理规范， taps， targets，同时官方提供了好多taps（好多是基于api 的），而且在这个api first 的开发时代阅读全文

posted @ 2019-01-08 08:29 荣锋亮阅读(1735) 评论(0) 推荐(0)

haproxy prometheus 监控docker-compose 运行试用

摘要： haproxy prometheus 的监控metrics 使用的是exporter ，因为haproxy 对于状态统计报告处理的比较好，我们可以了stats 同时支持一个csv的api 接口，所以exporter也是基于这个搞的开发，同时里面对于不同版本的haproxy 做了适配环境准备 d 阅读全文

posted @ 2019-01-07 11:35 荣锋亮阅读(1310) 评论(0) 推荐(0)

使用nexus 管理pip 私有包

摘要： nexus 已经支持了对于python pip 包的管理（支持group，host，proxy）这个是一个简单的使用docker 运行的demo，同时集成了s3 存储，以及一个为了测试简单的自定义pip 包环境准备 docker-compose 文件 version: "3" services 阅读全文

posted @ 2019-01-06 09:07 荣锋亮阅读(2417) 评论(0) 推荐(0)

gitingore && opensource license 自动生成的网站

摘要：老外就是爱搞事情，总有一些方便我们开发的小工具出来，比如gitignore以及开源软件许可协议的 gitingore 生成的地址 https://www.gitignore.io/ 使用搜索的地方输入语言即可效果开源软件协议地址 https://choosealicense.com/ 使用阅读全文

posted @ 2019-01-05 23:29 荣锋亮阅读(316) 评论(0) 推荐(0)

lua-resty-qless-web UI 界面运行

摘要： lua-resty-qless-web 是 lua-resty-qless 的web 管理界面以及lua-resty-template 模版引擎开发的，里面实现了一个简单的路由功能备注： demo 运行使用docker-compose ，简单修改了官方demo 有问题的部分,后边会添加集成lua 阅读全文

posted @ 2019-01-04 21:17 荣锋亮阅读(1355) 评论(0) 推荐(0)

自定义pip 包开发简单说明

摘要：文档主要来自官方文档，主要是为了测试学习创建pip 包项目项目结构 ├── LICENSE ├── README.md ├── dalongrong_example_pkg │ └── __init__.py └── setup.py ├── LICENSE ├── README.md ├── 阅读全文

posted @ 2019-01-04 13:16 荣锋亮阅读(2263) 评论(0) 推荐(0)

ethr 微软开源的tcp udp http 网络性能测试工具

摘要： ethr 是微软开源的tcp udp http 网络性能测试工具包包含的server 以及 client 我们可以远程测试同时对于https icmp 的支持也在开发中，tcp 协议支持连接、带宽、延迟的测试同时支持的操作系统也比较全，基于golang 开发，可以做为我们系统开发的一个测试工具了阅读全文

posted @ 2019-01-04 10:10 荣锋亮阅读(1821) 评论(0) 推荐(0)

openresty 集成lua-resty-mail +smtp2http 扩展灵活的mail 服务

摘要： lua-resty-mail 是一个不错的openresty mail 扩展，我们可以用来进行邮件发送，支持附件功能 smtp2http 是一个smtp 服务，可以将smtp 请求数据转换为http rest 请求，这个在我们的实际应用中还是很方便的，比如需要mail 服务，但是我们需要进行一些灵阅读全文

posted @ 2019-01-04 09:10 荣锋亮阅读(1790) 评论(0) 推荐(0)

masterlab 敏捷项目管理工具

摘要： masterlab 是一个参考了gitlab 以及jira 的开源项目管理工具，基于php开发，同时官方也提供了一个 docker-compose 运行的项目 clone 代码 git clone https://github.com/gopeak/masterlab-docker.git git 阅读全文

posted @ 2019-01-03 11:38 荣锋亮阅读(1977) 评论(0) 推荐(0)

luarocks 自定义包发布试用

摘要： luarocks 是一个方便的lua 包管理工具，可以帮助我们实现代码的复用以及分享注册账户我使用了gihtub 的账户，直接点击&&授权即可创建一个简单的luarocks 包项目创建rockspec 文件使用luarocks 工具 luarocks-5.1 write_rockspec 阅读全文

posted @ 2019-01-03 10:35 荣锋亮阅读(1367) 评论(0) 推荐(0)

vorpal 又一个方便的cli 开发包

摘要： vorpal 是一个npm 包，我们可以用来开发专业的cli 程序简单使用初始化项目 yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y yarn init -y 添加依赖 yarn add 阅读全文

posted @ 2019-01-02 21:36 荣锋亮阅读(621) 评论(0) 推荐(0)

gogs wekan 集成试用

摘要： wekan 官方提供了一个集成gogs 的扩展，不是完全的自动化，需要结合cli，但是官方的cli 写的。。。（不是很全）备注：测试环境使用docker-compose 环境准备 docker-compose 文件 version: "3.7" services: wekandb: image: 阅读全文

posted @ 2019-01-02 17:13 荣锋亮阅读(1403) 评论(0) 推荐(0)

Creating Node.js Command Line Utilities to Improve Your Workflow

摘要：转自：https://developer.telerik.com/featured/creating-node-js-command-line-utilities-improve-workflow/ 类似的oclif Once upon a time, the command line seemed 阅读全文

posted @ 2019-01-02 14:22 荣锋亮阅读(476) 评论(0) 推荐(0)

Gravitee.io api gateway 试用

摘要：以前写过几篇关于整体介绍的以及使用docker 运行的简单说明，有了docker-compose 环境我们可以方便的进行测试使用了。环境准备 docker-compose 文件 version: '3' networks: default: services: nginx: image 阅读全文

posted @ 2019-01-01 08:48 荣锋亮阅读(4400) 评论(0) 推荐(0)

Gravitee.io docker-compose运行

摘要： Gravitee.io 是一个相对比较完整的api gateway 平台，包含了api 相对比较完整的生命周期管理同时在访问控制以及日志监控上也做的比较好，是一款可以尝试试用的api gateway 平台环境准备 docker-compose 文件 version: '3' networks 阅读全文

posted @ 2018-12-31 22:04 荣锋亮阅读(1875) 评论(1) 推荐(0)

Gravitee.io Access Management docker-compose运行

posted @ 2018-12-30 10:25 荣锋亮阅读(1002) 评论(1) 推荐(0)

Gravitee.io Access Management 组件

摘要： Access Management组件在Gravitee.io 主要是进行认证以及权鉴的处理，支持oauth2 以及openid connect 等协议，同时好多功能已经集成在ui 管理界面上了，还是比较方便的。参考资料 https://docs.gravitee.io/am/2.x/am_ove 阅读全文

posted @ 2018-12-30 09:54 荣锋亮阅读(928) 评论(0) 推荐(0)

Gravitee.io alert 引擎架构

摘要： alert 在我们的实际开发中应用的场景很多，我们需要进行系统状态的查看，以及特殊异常请求的处理参考架构图从下图可以看出，还是很方便的，同时支持slack email。。。的实时消息通知，而且我们也可以编写插件组件说明对于alert 来说从上图也可以看出，主要是trigger 以及even 阅读全文

posted @ 2018-12-30 09:49 荣锋亮阅读(824) 评论(2) 推荐(1)

gravitee.io gateway 组件说明

摘要： gateway 在gravitee.io是一个比较核心的组件，我们可以应用规则到请求链中（包含request，response，类似的skipper的路由功能（可以通过pipeline的模型，在request、response 阶段进行数据的处理）参考架构图内部请求 gateway 架构参考阅读全文

posted @ 2018-12-30 09:41 荣锋亮阅读(1059) 评论(0) 推荐(0)

Gravitee.io 架构

摘要： Gravitee.io 官方文档提供了几张架构图，通过图我们可以有一个整体的认识。全局架构平台架构参考资料 https://docs.gravitee.io/apim_overview_architecture.html 阅读全文

posted @ 2018-12-30 09:33 荣锋亮阅读(1299) 评论(0) 推荐(0)

gravitee-gateway 又一个开源 apigateway

摘要： gravitee-gateway 是Gravitee.io基于 java 开发的api gateway 功能很丰富，包含ui 界面报警管理，访问控制管理，同时也包含一个比较完整的api 声明周期管理，从文档上看到的还是很不错的。参考资料 https://docs.gravitee.io htt 阅读全文

posted @ 2018-12-30 09:26 荣锋亮阅读(4109) 评论(0) 推荐(0)

Gravitational Teleport docker-compose组件独立部署运行

摘要： Gravitational Teleport 可以作为堡垒机进行使用，上次写过一个all in one 的，这次参考官方的配置运行一个proxy node auth 分离的应用备注：基于docker-compose 运行环境准备 docker-compose 文件 version: '2' 阅读全文

posted @ 2018-12-29 09:41 荣锋亮阅读(1156) 评论(0) 推荐(0)

Gravitational Teleport docker-compose简单运行

摘要： Gravitational Teleport 可以作为堡垒机进行使用，为了测试方便使用docker-compose 运行一个all in one 的demo 备注：官方提供的docker-compose 文件版太旧，而且复杂环境准备 docker-compose 文件 version: '2' 阅读全文

posted @ 2018-12-28 19:44 荣锋亮阅读(1131) 评论(0) 推荐(0)

Gravitational Teleport简单使用

摘要：使用官方提供的二进制包进行快速启动测试，详细细节还需要在学习下载软件包 mac 系统 https://gravitational.com/teleport/download/ wget https://get.gravitational.com/teleport-v3.1.1-darwin-amd 阅读全文

posted @ 2018-12-28 17:08 荣锋亮阅读(1360) 评论(0) 推荐(0)

Gravitational Teleport 开源的通过ssh && kubernetes api 管理linux 服务器集群的网关

摘要： Gravitational Teleport 是一个开源的通过ssh && kubernetes api 管理linux 服务器集群的网关支持以下功能：基于证书的身份认证 ssh 访问位于防火墙后支持基于rbac 的访问控制会话记录&&ssh 审核日志 kubernetes 审计日志当然也阅读全文

posted @ 2018-12-28 14:58 荣锋亮阅读(1153) 评论(0) 推荐(0)

使用 --image-repository 解决kubeadm 安装k8s 集群谷歌镜像墙的问题

摘要：从网上我们看到的好多kubeadm 安装k8s 的时候都说需要下拉取镜像，然后修改，实际上我们可以使用配置参数，快速的跳过墙的问题说明：基础镜像，我们仍然存在，拉取的问题，但是dockerhub 上已经包含了好多拉取好的，我们只需要拉取，统一命名下就可以了,简单测试我使用了别人以及配置好的阅读全文

posted @ 2018-12-27 14:50 荣锋亮阅读(20144) 评论(0) 推荐(0)

deno学习四 docker 运行官方的一个http file server

摘要： github 上已经有人搞了一个deno 的docker 镜像，是基于源码编译的，挺好的所以结合官方的http server demo 使用docker 运行环境准备 docker-compose 文件 version: "3" services: app: image: maxmcd/deno 阅读全文

posted @ 2018-12-27 10:28 荣锋亮阅读(1564) 评论(0) 推荐(0)

deno学习三官方提供的方便deno 安装方式

摘要：早起deno 使用了golang 开发，同时需要protobuf 进行数据的序列化以及反序列化处理当前的deno 已经使用rust 进行了开发，同时官方提供的安装方式也很方便了，不需要那么复杂的编译v8，处理依赖。。。。新的安装方式 mac 系统,使用python 脚本脚本 curl -L 阅读全文

posted @ 2018-12-27 08:26 荣锋亮阅读(1639) 评论(0) 推荐(0)

使用ipns 解决ipfs 内容更新的问题

摘要： ipds 可以使用dnslink 解决域名访问的问题，但是内容变更我们就会有新的hashid 解决方法我们可以使用ipns ，同时解决dnslink 解决域名的问题环境准备 docker-compose 文件 version: "3" services: ipfs: image: ipfs/go- 阅读全文

posted @ 2018-12-26 12:37 荣锋亮阅读(2184) 评论(0) 推荐(0)

ipfs webui 管理界面

摘要： ipfs 内置了一个webui 默认的端口是5001 访问地址 http://ip:5001/webui 环境准备 docker-compose 文件 version: "3" services: ipfs: image: ipfs/go-ipfs:latest hostname: ipfs_hos 阅读全文

posted @ 2018-12-26 10:04 荣锋亮阅读(3969) 评论(0) 推荐(0)

使用ipns 为ipfs 系统自定义域名

摘要： ipns 可以帮助我们进行寻址操作，但是默认的hashid 还是太长，不好记忆，ipns 同时也支持基于域名的解析，我们添加txt 记录就可以方便的解决ipfs 文件访问地址难记的问题,使用的是一种叫做dnslink 的技术环境准备 docker-compose version: "3" se 阅读全文

posted @ 2018-12-26 09:25 荣锋亮阅读(1904) 评论(0) 推荐(0)

debezium mongodb 集成测试

摘要： debezium 是一个方便的cdc connector 可以帮助我们解决好多数据实时变更处理、数据分析、微服务的数据通信从上次跑简单demo到现在，这个工具是有好多的变更，添加了好多方便的功能，支持了越来越多的数据库。 demo 使用了官方提供的docker-compose 文件环境准备 do 阅读全文

posted @ 2018-12-25 20:26 荣锋亮阅读(3199) 评论(0) 推荐(0)

debezium sql server 集成

摘要： debezium 是一个方便的cdc connector 可以帮助我们解决好多数据实时变更处理、数据分析、微服务的数据通信从上次跑简单demo到现在，这个工具是有好多的变更，添加了好多方便的功能，支持了越来越多的数据库。 demo 使用了官方提供的docker-compose 文件环境准备 do 阅读全文

posted @ 2018-12-25 19:16 荣锋亮阅读(4607) 评论(0) 推荐(0)

ipfs cluster 模式部署使用（docker-compose 环境运行)

摘要： ipfs 点对点的分布式文件系统，官方提供了集群模式运行的docker 镜像，以及docker-compose 文件所以测试下环境准备 docker-compose version: '3.4' # This is an example docker-compose file for IPFS 阅读全文

posted @ 2018-12-25 10:40 荣锋亮阅读(2279) 评论(0) 推荐(0)

lerna import && add 使用&&常见问题解决

摘要：使用lerna 的import 我们可以方便的将一个普通的npm 包倒入到lerna 管理的monorepo 中环境准备 lerna init 注意必须是一个git 项目，同时需要commit ，不然会报错 lerna init lerna init lerna init lerna init l 阅读全文

posted @ 2018-12-24 15:35 荣锋亮阅读(6917) 评论(0) 推荐(0)

memsql kafka集成

摘要： memsql 可以加载s3，文件系统，kafka、hdfs 系统的数据，测试使用kafka 环境使用 docker-compose 运行,新版本的需要申请license，参考链接： https://www.cnblogs.com/rongfengliang/p/9922041.html 环境准备 d 阅读全文

posted @ 2018-12-24 09:47 荣锋亮阅读(786) 评论(0) 推荐(0)

prime docker-compose 环境运行试用

摘要： prime 是一款基于graphql的开源cms，功能点很不错，但是出来不久，还是有好多bug的官方暂时没有提供docker 的运行方式，为了方便测试，搞了以及docker-compose 测试的环境准备 docker-copose 文件 version: "3" services: postg 阅读全文

posted @ 2018-12-23 20:31 荣锋亮阅读(429) 评论(0) 推荐(0)

prime 又一个开源的基于graphql 的cms

摘要： prime 是一个开源的基于graphql 的cms，类似的已经又好多了，strapi 就是一个（graphql 是通过插件扩展的） graphcms 是一款不错的，但是是收费的，prime 是基于ts 开发的包含以下特性多语言访问控制草案预览自定义字段计划发布说明项目刚出来，但是文阅读全文

posted @ 2018-12-23 10:53 荣锋亮阅读(1210) 评论(0) 推荐(0)

gaia 开源多语言的pipeline 平台

摘要： gaia 是一个支持goalng、java、c++、python，nodejs （还在开发中）的pipeline 平台，我们可以方便的进行pipeline构建的添加，同时也可以做为sdk 在我们的项目中使用环境准备使用了完整的支持镜像，有点大，下载需要等待 docker-cmopose ver 阅读全文

posted @ 2018-12-23 10:21 荣锋亮阅读(2165) 评论(0) 推荐(0)

导航

公告