vigil deb 包制作
摘要：
前边有写过简单rpm 包的制作，现在制作一个简单的deb 包。 deb 包的制作是通过源码编译+ fpm 环境准备 rust curl https://sh.rustup.rs -sSf | sh curl https://sh.rustup.rs -sSf | sh curl https://sh 阅读全文
posted @ 2019-06-21 22:28 荣锋亮 阅读(461) 评论(0) 推荐(0)
Fast + Small Docker Image Builds for Rust Apps
摘要：
转自：https://shaneutt.com/blog/rust-fast-small-docker-image-builds/ In this post I’m going to demonstrate how to create small, quickly built Docker Imag 阅读全文
posted @ 2019-06-21 07:13 荣锋亮 阅读(524) 评论(0) 推荐(0)
vigil rpm 包制作
摘要：
vigil 可以方便的进行服务的监控，以下尝试制作一个rpm 包，方便使用 安装依赖 ruby yum -y install ruby rubygems ruby-devel yum -y install ruby rubygems ruby-devel yum -y install ruby ru 阅读全文
posted @ 2019-06-19 13:49 荣锋亮 阅读(294) 评论(0) 推荐(0)
使用rrweb 进行web 操作录制以及回放
摘要：
rrweb 是使用typescript 开发的web 操作录制以及回放框架，包含了比较完整的系统组件 rrweb-snapshot 进行dom 与操作实践的关联处理 rrweb 主要包含了record 以及replay rrweb-player rrweb 的UI 提供了方便的基于UI的操作，比如暂 阅读全文
posted @ 2019-06-17 11:28 荣锋亮 阅读(10804) 评论(2) 推荐(1)
HAProxy 2.0 and Beyond
摘要：
转自：https://www.haproxy.com/blog/haproxy-2-0-and-beyond/ 关于haproxy 2.0 的新特性说明 HAProxy Technologies is excited to announce the release of HAProxy 2.0, b 阅读全文
posted @ 2019-06-17 08:29 荣锋亮 阅读(743) 评论(0) 推荐(0)
rustup 使用
摘要：
rustup 可以帮助我们安装不同版本的rust 编程需要的工具连，同时可以方便的进行不同版本 之间的切换，类似nodejs 的nvm,n, ruby 的 rvm python 的 venv 。。。 rustup 基本使用 我们在首次使用安装脚本，或者安装包安装完成rust 之后就会附带rustup 阅读全文
posted @ 2019-06-16 10:19 荣锋亮 阅读(4686) 评论(0) 推荐(0)
Vigil 发送多人邮件通知的处理
摘要：
Vigil 默认是只能发送单人邮件，但是我们有需要发送多个的场景。 解决方法： 大家使用一样的账户登陆 使用邮件组 修改下源码 为了学习下Vigil 的构建，以及原理，我简单通过修改源码的方式（目前支持4个人，但是代码是写死的） 后边可以进一步优化 项目github 代码 代码我已经提交github 阅读全文
posted @ 2019-06-15 09:36 荣锋亮 阅读(469) 评论(0) 推荐(0)
pgloader 学习（八） pg 2 pg 简单demo
摘要：
pg 数据到pg 数据的迁移，同时支持名称的变更 环境准备 docker-compose文件 内容偏多可以忽略部分 version: "3" services: pgloader-csv: image: dimitri/pgloader volumes: - "./init-db:/opt/db" 阅读全文
posted @ 2019-06-13 21:11 荣锋亮 阅读(979) 评论(0) 推荐(0)
pgloader 学习（七） 从归档文件加载数据
摘要：
我们可以直接从zip，tar，gzip 文件获取内容 command file 参考格式 LOAD ARCHIVE FROM /Users/dim/Downloads/GeoLiteCity-latest.zip INTO postgresql:///ip4r BEFORE LOAD DO $$ 阅读全文
posted @ 2019-06-13 20:31 荣锋亮 阅读(493) 评论(0) 推荐(0)
pgloader 学习（六） 加载csv 数据
摘要：
关于加载的配置参数都是使用comand file command file 参考格式 LOAD CSV FROM 'GeoLiteCity-Blocks.csv' WITH ENCODING iso-646-us HAVING FIELDS ( startIpNum, endIpNum, locId 阅读全文
posted @ 2019-06-13 20:17 荣锋亮 阅读(922) 评论(0) 推荐(0)
pgloader 学习（五）pgloader 参考手册
摘要：
pgloader将各种来源的数据加载到PostgreSQL中。它可以转换动态读取的数据，并在加载前后提交原始SQL。 它使用COPY PostgreSQL协议将数据流式传输到服务器，并通过填充一对reject.dat和reject.log文件来管理错误 pgloader 的操作，可以使用命令行参数， 阅读全文
posted @ 2019-06-13 14:48 荣锋亮 阅读(4710) 评论(0) 推荐(0)
pgloader 学习（四）一些简单操作例子
摘要：
上边已经说明了pgloader 的基本使用（篇理论），但是对于实际操作偏少，以下是一个简单的操作 不像官方文档那样，我为了方便，直接使用docker-compose 运行，同时这个环境，会在后边大部分场景使用,同时 对于pgloader 的dsl暂时不会仔细说明，后边会有介绍 环境准备 docker 阅读全文
posted @ 2019-06-13 11:13 荣锋亮 阅读(1842) 评论(0) 推荐(0)
pgloader 学习（三）快速使用
摘要：
pgloader 支持多种数据源数据的加载，以下列出简单的操作命令，后边会有详细的使用说明 csv 格式内容加载 预备说明 需要先在pg 数据库创建表 create table districts_longlat ( usps text, geoid text, aland bigint, awat 阅读全文
posted @ 2019-06-13 09:44 荣锋亮 阅读(1324) 评论(0) 推荐(0)
pgloader 学习（二）特性矩阵&&命令行
摘要：
pgloader 对于各种数据库支持的还是很完整的，同时有一套自己的dsl 特性矩阵 操作命令 命令格式 pgloader [<options>] [<command-file>]... pgloader [<options>] SOURCE TARGET pgloader [<options>] 阅读全文
posted @ 2019-06-13 09:24 荣锋亮 阅读(579) 评论(0) 推荐(0)
pgloader 学习（一）支持的特性
摘要：
pgloader 是一个不错的多种格式数据同步到pg 的工具，pgloader 使用postrgresql 的copy 协议进行高效的数据同步处理 特性 加载文件到内容pg 多种数据源格式的支持 csv、fixed 列、dbase、sqlte、ibm ixf、postgresql、mysql、sql 阅读全文
posted @ 2019-06-13 09:19 荣锋亮 阅读(679) 评论(0) 推荐(0)
使用readthedocs 发布 sphinx doc文档
摘要：
readthedocs 是由社区驱动的开源sphinx doc 托管服务，我们可以用来方便的构建以及发布文档 这是一个简单的demo 项目，使用了用的比较多的sphinx_rtd_theme 主题，主要是试用 注册账户 sphinx 文档需要让readthedocs 托管，我们需要一个账户，注册地址 阅读全文
posted @ 2019-06-12 10:55 荣锋亮 阅读(2217) 评论(0) 推荐(0)
pgloader 方便的数据迁移工具
摘要：
pgloader 是一个支持多种数据源迁移到pg 数据库的工具，高性能，使用灵活同时作者 也提供了docker 版本的镜像，今年3月份使用此工具的时候，发现好久都没更新了，但是 最近作者有了新版本的发布，同时支持pg to pg，修复了部分bug，同时也有了新的官方 文档。 同时作者提出的Conti 阅读全文
posted @ 2019-06-12 10:00 荣锋亮 阅读(792) 评论(0) 推荐(0)
circus && web comsole docker-compose 独立部署web console 的一个bug
摘要：
如果直接使用以下的docker-compose 文件部署会有通过多播通信获取endpoint 异常的问题（circus 在stats endpoint 获取少了一个c） 这个问题是部分网络情况下会出现（多播包异常） version: "3" services: circus: image: dalo 阅读全文
posted @ 2019-06-12 08:52 荣锋亮 阅读(417) 评论(0) 推荐(0)
circus security 来自官方的安全建议
摘要：
转自：https://circus.readthedocs.io/en/latest/design/security/ Circus is built on the top of the ZeroMQ library and comes with no security at all in its 阅读全文
posted @ 2019-06-11 14:00 荣锋亮 阅读(277) 评论(0) 推荐(0)
circus && web comsole docker-compose 独立部署
摘要：
问题的根本原因是web console 的bug（实际上还是python 对于依赖版本出来不明确） circus 进程docker 镜像 dockerfile FROM python:slim-stretch LABEL AUTHOR="dalongrong" LABEL EMAIL="114159 阅读全文
posted @ 2019-06-11 13:54 荣锋亮 阅读(451) 评论(0) 推荐(0)
circus web console 依赖tornado>3.2 无法访问的bug
摘要：
circus web console 是一个很不错的web 监控circus 工具，但是对于高版本一直存在一个bug 信息如下 Traceback (most recent call last): File "/usr/local/lib/python2.7/dist-packages/tornad 阅读全文
posted @ 2019-06-10 21:09 荣锋亮 阅读(446) 评论(0) 推荐(0)
circus 做为批处理的守护进程
摘要：
circus 是集成了zeromq，使用python编写的一个进程以及socket 管理工具，使用circus 的进程管理，我们可以用来进行批任务的 处理，同时又能保证任务的准确 项目使用docker+ docker-compose 运行 案例 简单原理说明 就是一个简单的worker 分了三个，通 阅读全文
posted @ 2019-06-10 19:26 荣锋亮 阅读(1092) 评论(0) 推荐(0)
circus 架构
摘要：
转自官方文档：https://circus.readthedocs.io/en/latest/design/architecture/ Overall architecture Circus is composed of a main process called circusd which tak 阅读全文
posted @ 2019-06-10 18:56 荣锋亮 阅读(340) 评论(0) 推荐(0)
sphinx doc 文档生成脚手架工具
摘要：
sphinx 在python 语言开发中，是一个使用的比较多文档生成脚手架工具，我们帮助我们生成 专业的帮助文档，同时也有远端的免费saas 托管服务，方便分发 安装 sphinx 的安装好多方便，mac 的可以使用brew，或者我们可以使用pip 安装,详细的可以参考官方文档 mac brew 安 阅读全文
posted @ 2019-06-10 15:29 荣锋亮 阅读(1747) 评论(0) 推荐(0)
circus docker image web 运行异常问题的解决
摘要：
经过查看官方文档，因为我使用的是python 较高版本，存在兼容问题，解决方法 修改基础镜像版本 代码如下： FROM python:2.7-slim-stretch LABEL AUTHOR="dalongrong" LABEL EMAIL="1141591465@qq.com" RUN apt- 阅读全文
posted @ 2019-06-10 10:23 荣锋亮 阅读(236) 评论(0) 推荐(0)
circus 进程以及socket 管理工具&&docker运行
摘要：
circus 是由mozilla 团队开发基于python 以及zeromq 的进程以及socket 管理的工具，类似supervisord 但是比supervisord 更灵活方便 来自官方的使用比较 supervisord的 来自circus 的 docker 集成shiyong 搜索docke 阅读全文
posted @ 2019-06-10 09:49 荣锋亮 阅读(797) 评论(0) 推荐(0)
a list of frequently asked questions about Circus
摘要：
转自：https://circus.readthedocs.io/en/latest/faq/，可以帮助我们了解circus 的使用，以及问题解决 How does Circus stack compare to a classical stack? In a classical WSGI stac 阅读全文
posted @ 2019-06-10 09:29 荣锋亮 阅读(297) 评论(0) 推荐(0)
python 微服务开发书中几个方便的python框架
摘要：
python 微服务开发是一本讲python 如果进行微服务开发的实战类书籍，里面包含了几个很不错的python 模块，记录下，方便后期回顾学习 处理并发的模块 greenlet &&gevent twisted && tornado asyncio web api 模块 当然有好多可以使用的，只记 阅读全文
posted @ 2019-06-09 08:39 荣锋亮 阅读(7747) 评论(0) 推荐(0)
Collecting metrics with the PostgreSQL and TimescaleDB output plugin for Telegraf
摘要：
转自：https://docs.timescale.com/v1.3/tutorials/telegraf-output-plugin 文章演示了如何使用pg output 插件 以及Telegraf agent 获取系统信息到timescaledb，一篇不错的实践类文章 一张参考图： Telegr 阅读全文
posted @ 2019-06-08 09:00 荣锋亮 阅读(779) 评论(2) 推荐(1)
dbt 0.13.0 新添加特性sources 试用
摘要：
dbt 0.13 添加了一个新的功能sources 我呢可以用来做以下事情 从基础模型的源表中进行数据选择 测试对于源数据的假设 计算源数据的freshness source 操作 定义source 模版格式 注意对于pg 等类型的，如果包含了schema 的可能需要配置额外参数，或者通过schem 阅读全文
posted @ 2019-06-07 17:48 荣锋亮 阅读(709) 评论(0) 推荐(0)
apisix 基于openresty 的api 网关
摘要：
apisix 是由openresty 团队开发并开源的微服务api gateway，还不错，官方文档也比较全，同时这个也是一个不错的学习openresty 的项目 以下为来自官方的架构图 插件加载 插件结构 参考资料 https://github.com/iresty/apisix 阅读全文
posted @ 2019-06-07 09:25 荣锋亮 阅读(2776) 评论(0) 推荐(0)
A revolutionary architecture for building a distributed graph
摘要：
转自：https://blog.apollographql.com/apollo-federation-f260cf525d21 What if you could access all of your organization’s data by typing a single GraphQL q 阅读全文
posted @ 2019-06-06 12:23 荣锋亮 阅读(639) 评论(0) 推荐(0)
testinfra 基础设施测试工具
摘要：
testinfra 是基于python 开发的基础设施测试工具，我们可以用来方便的测试基础设施 是否符合我们的要求（系统，软件。。。） 一个参考demo def test_passwd_file(host): passwd = host.file("/etc/passwd") assert pass 阅读全文
posted @ 2019-06-06 10:50 荣锋亮 阅读(1479) 评论(0) 推荐(0)
tox 试用
摘要：
安装 pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox tox 阅读全文
posted @ 2019-06-06 09:52 荣锋亮 阅读(1281) 评论(0) 推荐(0)
tox python项目虚拟环境管理自动化测试&&构建工具
摘要：
tox 是一个方便的工具，可以帮助我们管理python 的虚拟环境，同时可以进行项目自动测试以及构建 tox 如何工作的 说明 从上图我们也可以看出如何在我们项目中使用tox 参考资料 https://github.com/tox-dev/tox https://tox.readthedocs.io 阅读全文
posted @ 2019-06-06 08:48 荣锋亮 阅读(1046) 评论(0) 推荐(0)
puppeteer 试用
摘要：
puppeteer 是chrome 团队提供的Headless chrome node api 库，我们可以用来方便的进行chrome 操作，同时 可以做好多事情（web 爬虫，生成pdf，截图。。。） 安装 注意合理上网 npm i puppeteer --save npm i puppeteer 阅读全文
posted @ 2019-06-05 21:25 荣锋亮 阅读(426) 评论(0) 推荐(0)
My journey introducing the data build tool (dbt) in project’s analytical stacks
摘要：
转自：https://www.lantrns.co/my-journey-introducing-the-data-build-tool-dbt-in-projects-analytical-stacks/ Not sure I remember how, but I had the good lu 阅读全文
posted @ 2019-06-05 18:28 荣锋亮 阅读(473) 评论(0) 推荐(0)
使用singer tap-postgres 同步数据到pg
摘要：
singer 是一个很不错的开源etl 解决方案，以下演示一个简单的数据从pg 同步到pg 很简单就是使用tap-postgres + target-postgres 环境准备 对于测试的环境的数据库使用docker-compose 运行 docker-compose 文件 version: "3" 阅读全文
posted @ 2019-06-05 15:07 荣锋亮 阅读(1323) 评论(1) 推荐(0)
comlink 是来自google chrome 团队的简化webwokers 开发的类库
摘要：
comlink 可以帮助我们简单webworkers 的开发，同时很小（1.1kb），具体使用我们可以看下面 一张图 说明 comlink 使用起来也比较方便，官方也提供了完整的api 文档 参考资料 https://github.com/GoogleChromeLabs/comlink 阅读全文
posted @ 2019-06-05 13:45 荣锋亮 阅读(896) 评论(0) 推荐(0)
graphql-inspector graphql schema比较&&文档校验&&查找破坏性变动工具
摘要：
graphql-inspector 是一个方便的graphql 周边工具，可以加速graphql 应该的开发，同时可以帮助我们排查问题 包含以下特性： 进行schema 的比较 文档校验（通过schema） 相似以及重复类型查找 查找破坏性或者危险的变动 查看基于文档的schema 覆盖率 mock 阅读全文
posted @ 2019-06-05 13:29 荣锋亮 阅读(529) 评论(0) 推荐(0)
浙公网安备 33010602011771号