荣锋亮 - 博客园

HAProxy 2.0 and Beyond

摘要：转自：https://www.haproxy.com/blog/haproxy-2-0-and-beyond/ 关于haproxy 2.0 的新特性说明 HAProxy Technologies is excited to announce the release of HAProxy 2.0, b 阅读全文

posted @ 2019-06-17 08:29 荣锋亮阅读(736) 评论(0) 推荐(0)

rustup 使用

摘要： rustup 可以帮助我们安装不同版本的rust 编程需要的工具连，同时可以方便的进行不同版本之间的切换，类似nodejs 的nvm,n, ruby 的 rvm python 的 venv 。。。 rustup 基本使用我们在首次使用安装脚本，或者安装包安装完成rust 之后就会附带rustup 阅读全文

posted @ 2019-06-16 10:19 荣锋亮阅读(4670) 评论(0) 推荐(0)

Vigil 发送多人邮件通知的处理

摘要： Vigil 默认是只能发送单人邮件，但是我们有需要发送多个的场景。解决方法：大家使用一样的账户登陆使用邮件组修改下源码为了学习下Vigil 的构建，以及原理，我简单通过修改源码的方式（目前支持4个人，但是代码是写死的）后边可以进一步优化项目github 代码代码我已经提交github 阅读全文

posted @ 2019-06-15 09:36 荣锋亮阅读(465) 评论(0) 推荐(0)

pgloader 学习（八） pg 2 pg 简单demo

摘要： pg 数据到pg 数据的迁移，同时支持名称的变更环境准备 docker-compose文件内容偏多可以忽略部分 version: "3" services: pgloader-csv: image: dimitri/pgloader volumes: - "./init-db:/opt/db" 阅读全文

posted @ 2019-06-13 21:11 荣锋亮阅读(966) 评论(0) 推荐(0)

pgloader 学习（七）从归档文件加载数据

摘要：我们可以直接从zip，tar，gzip 文件获取内容 command file 参考格式 LOAD ARCHIVE FROM /Users/dim/Downloads/GeoLiteCity-latest.zip INTO postgresql:///ip4r BEFORE LOAD DO $$ 阅读全文

posted @ 2019-06-13 20:31 荣锋亮阅读(484) 评论(0) 推荐(0)

pgloader 学习（六）加载csv 数据

摘要：关于加载的配置参数都是使用comand file command file 参考格式 LOAD CSV FROM 'GeoLiteCity-Blocks.csv' WITH ENCODING iso-646-us HAVING FIELDS ( startIpNum, endIpNum, locId 阅读全文

posted @ 2019-06-13 20:17 荣锋亮阅读(906) 评论(0) 推荐(0)

pgloader 学习（五）pgloader 参考手册

摘要： pgloader将各种来源的数据加载到PostgreSQL中。它可以转换动态读取的数据，并在加载前后提交原始SQL。它使用COPY PostgreSQL协议将数据流式传输到服务器，并通过填充一对reject.dat和reject.log文件来管理错误 pgloader 的操作，可以使用命令行参数，阅读全文

posted @ 2019-06-13 14:48 荣锋亮阅读(4620) 评论(0) 推荐(0)

pgloader 学习（四）一些简单操作例子

摘要：上边已经说明了pgloader 的基本使用（篇理论），但是对于实际操作偏少，以下是一个简单的操作不像官方文档那样，我为了方便，直接使用docker-compose 运行，同时这个环境，会在后边大部分场景使用,同时对于pgloader 的dsl暂时不会仔细说明，后边会有介绍环境准备 docker 阅读全文

posted @ 2019-06-13 11:13 荣锋亮阅读(1810) 评论(0) 推荐(0)

pgloader 学习（三）快速使用

摘要： pgloader 支持多种数据源数据的加载，以下列出简单的操作命令，后边会有详细的使用说明 csv 格式内容加载预备说明需要先在pg 数据库创建表 create table districts_longlat ( usps text, geoid text, aland bigint, awat 阅读全文

posted @ 2019-06-13 09:44 荣锋亮阅读(1313) 评论(0) 推荐(0)

pgloader 学习（二）特性矩阵&&命令行

摘要： pgloader 对于各种数据库支持的还是很完整的，同时有一套自己的dsl 特性矩阵操作命令命令格式 pgloader [<options>] [<command-file>]... pgloader [<options>] SOURCE TARGET pgloader [<options>] 阅读全文

posted @ 2019-06-13 09:24 荣锋亮阅读(575) 评论(0) 推荐(0)

pgloader 学习（一）支持的特性

摘要： pgloader 是一个不错的多种格式数据同步到pg 的工具，pgloader 使用postrgresql 的copy 协议进行高效的数据同步处理特性加载文件到内容pg 多种数据源格式的支持 csv、fixed 列、dbase、sqlte、ibm ixf、postgresql、mysql、sql 阅读全文

posted @ 2019-06-13 09:19 荣锋亮阅读(669) 评论(0) 推荐(0)

使用readthedocs 发布 sphinx doc文档

摘要： readthedocs 是由社区驱动的开源sphinx doc 托管服务，我们可以用来方便的构建以及发布文档这是一个简单的demo 项目，使用了用的比较多的sphinx_rtd_theme 主题，主要是试用注册账户 sphinx 文档需要让readthedocs 托管，我们需要一个账户，注册地址阅读全文

posted @ 2019-06-12 10:55 荣锋亮阅读(2211) 评论(0) 推荐(0)

pgloader 方便的数据迁移工具

摘要： pgloader 是一个支持多种数据源迁移到pg 数据库的工具，高性能，使用灵活同时作者也提供了docker 版本的镜像，今年3月份使用此工具的时候，发现好久都没更新了，但是最近作者有了新版本的发布，同时支持pg to pg，修复了部分bug，同时也有了新的官方文档。同时作者提出的Conti 阅读全文

posted @ 2019-06-12 10:00 荣锋亮阅读(782) 评论(0) 推荐(0)

circus && web comsole docker-compose 独立部署web console 的一个bug

摘要：如果直接使用以下的docker-compose 文件部署会有通过多播通信获取endpoint 异常的问题（circus 在stats endpoint 获取少了一个c）这个问题是部分网络情况下会出现（多播包异常） version: "3" services: circus: image: dalo 阅读全文

posted @ 2019-06-12 08:52 荣锋亮阅读(412) 评论(0) 推荐(0)

circus security 来自官方的安全建议

摘要：转自：https://circus.readthedocs.io/en/latest/design/security/ Circus is built on the top of the ZeroMQ library and comes with no security at all in its 阅读全文

posted @ 2019-06-11 14:00 荣锋亮阅读(267) 评论(0) 推荐(0)

circus && web comsole docker-compose 独立部署

摘要：问题的根本原因是web console 的bug（实际上还是python 对于依赖版本出来不明确） circus 进程docker 镜像 dockerfile FROM python:slim-stretch LABEL AUTHOR="dalongrong" LABEL EMAIL="114159 阅读全文

posted @ 2019-06-11 13:54 荣锋亮阅读(447) 评论(0) 推荐(0)

circus web console 依赖tornado>3.2 无法访问的bug

摘要： circus web console 是一个很不错的web 监控circus 工具，但是对于高版本一直存在一个bug 信息如下 Traceback (most recent call last): File "/usr/local/lib/python2.7/dist-packages/tornad 阅读全文

posted @ 2019-06-10 21:09 荣锋亮阅读(439) 评论(0) 推荐(0)

circus 做为批处理的守护进程

摘要： circus 是集成了zeromq，使用python编写的一个进程以及socket 管理工具，使用circus 的进程管理，我们可以用来进行批任务的处理，同时又能保证任务的准确项目使用docker+ docker-compose 运行案例简单原理说明就是一个简单的worker 分了三个，通阅读全文

posted @ 2019-06-10 19:26 荣锋亮阅读(1077) 评论(0) 推荐(0)

circus 架构

摘要：转自官方文档：https://circus.readthedocs.io/en/latest/design/architecture/ Overall architecture Circus is composed of a main process called circusd which tak 阅读全文

posted @ 2019-06-10 18:56 荣锋亮阅读(336) 评论(0) 推荐(0)

sphinx doc 文档生成脚手架工具

摘要： sphinx 在python 语言开发中，是一个使用的比较多文档生成脚手架工具，我们帮助我们生成专业的帮助文档，同时也有远端的免费saas 托管服务，方便分发安装 sphinx 的安装好多方便，mac 的可以使用brew，或者我们可以使用pip 安装,详细的可以参考官方文档 mac brew 安阅读全文

posted @ 2019-06-10 15:29 荣锋亮阅读(1738) 评论(0) 推荐(0)

circus docker image web 运行异常问题的解决

摘要：经过查看官方文档，因为我使用的是python 较高版本，存在兼容问题，解决方法修改基础镜像版本代码如下： FROM python:2.7-slim-stretch LABEL AUTHOR="dalongrong" LABEL EMAIL="1141591465@qq.com" RUN apt- 阅读全文

posted @ 2019-06-10 10:23 荣锋亮阅读(234) 评论(0) 推荐(0)

circus 进程以及socket 管理工具&&docker运行

摘要： circus 是由mozilla 团队开发基于python 以及zeromq 的进程以及socket 管理的工具，类似supervisord 但是比supervisord 更灵活方便来自官方的使用比较 supervisord的来自circus 的 docker 集成shiyong 搜索docke 阅读全文

posted @ 2019-06-10 09:49 荣锋亮阅读(789) 评论(0) 推荐(0)

a list of frequently asked questions about Circus

摘要：转自：https://circus.readthedocs.io/en/latest/faq/，可以帮助我们了解circus 的使用，以及问题解决 How does Circus stack compare to a classical stack? In a classical WSGI stac 阅读全文

posted @ 2019-06-10 09:29 荣锋亮阅读(293) 评论(0) 推荐(0)

python 微服务开发书中几个方便的python框架

摘要： python 微服务开发是一本讲python 如果进行微服务开发的实战类书籍，里面包含了几个很不错的python 模块，记录下，方便后期回顾学习处理并发的模块 greenlet &&gevent twisted && tornado asyncio web api 模块当然有好多可以使用的，只记阅读全文

posted @ 2019-06-09 08:39 荣锋亮阅读(7739) 评论(0) 推荐(0)

Collecting metrics with the PostgreSQL and TimescaleDB output plugin for Telegraf

摘要：转自：https://docs.timescale.com/v1.3/tutorials/telegraf-output-plugin 文章演示了如何使用pg output 插件以及Telegraf agent 获取系统信息到timescaledb，一篇不错的实践类文章一张参考图： Telegr 阅读全文

posted @ 2019-06-08 09:00 荣锋亮阅读(768) 评论(2) 推荐(1)

dbt 0.13.0 新添加特性sources 试用

摘要： dbt 0.13 添加了一个新的功能sources 我呢可以用来做以下事情从基础模型的源表中进行数据选择测试对于源数据的假设计算源数据的freshness source 操作定义source 模版格式注意对于pg 等类型的，如果包含了schema 的可能需要配置额外参数，或者通过schem 阅读全文

posted @ 2019-06-07 17:48 荣锋亮阅读(706) 评论(0) 推荐(0)

apisix 基于openresty 的api 网关

摘要： apisix 是由openresty 团队开发并开源的微服务api gateway，还不错，官方文档也比较全，同时这个也是一个不错的学习openresty 的项目以下为来自官方的架构图插件加载插件结构参考资料 https://github.com/iresty/apisix 阅读全文

posted @ 2019-06-07 09:25 荣锋亮阅读(2772) 评论(0) 推荐(0)

A revolutionary architecture for building a distributed graph

摘要：转自：https://blog.apollographql.com/apollo-federation-f260cf525d21 What if you could access all of your organization’s data by typing a single GraphQL q 阅读全文

posted @ 2019-06-06 12:23 荣锋亮阅读(630) 评论(0) 推荐(0)

testinfra 基础设施测试工具

摘要： testinfra 是基于python 开发的基础设施测试工具，我们可以用来方便的测试基础设施是否符合我们的要求（系统，软件。。。）一个参考demo def test_passwd_file(host): passwd = host.file("/etc/passwd") assert pass 阅读全文

posted @ 2019-06-06 10:50 荣锋亮阅读(1472) 评论(0) 推荐(0)

tox 试用

摘要：安装 pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox tox 阅读全文

posted @ 2019-06-06 09:52 荣锋亮阅读(1274) 评论(0) 推荐(0)

tox python项目虚拟环境管理自动化测试&&构建工具

摘要： tox 是一个方便的工具，可以帮助我们管理python 的虚拟环境，同时可以进行项目自动测试以及构建 tox 如何工作的说明从上图我们也可以看出如何在我们项目中使用tox 参考资料 https://github.com/tox-dev/tox https://tox.readthedocs.io 阅读全文

posted @ 2019-06-06 08:48 荣锋亮阅读(1042) 评论(0) 推荐(0)

puppeteer 试用

摘要： puppeteer 是chrome 团队提供的Headless chrome node api 库，我们可以用来方便的进行chrome 操作，同时可以做好多事情（web 爬虫，生成pdf，截图。。。）安装注意合理上网 npm i puppeteer --save npm i puppeteer 阅读全文

posted @ 2019-06-05 21:25 荣锋亮阅读(420) 评论(0) 推荐(0)

My journey introducing the data build tool (dbt) in project’s analytical stacks

摘要：转自：https://www.lantrns.co/my-journey-introducing-the-data-build-tool-dbt-in-projects-analytical-stacks/ Not sure I remember how, but I had the good lu 阅读全文

posted @ 2019-06-05 18:28 荣锋亮阅读(464) 评论(0) 推荐(0)

使用singer tap-postgres 同步数据到pg

摘要： singer 是一个很不错的开源etl 解决方案，以下演示一个简单的数据从pg 同步到pg 很简单就是使用tap-postgres + target-postgres 环境准备对于测试的环境的数据库使用docker-compose 运行 docker-compose 文件 version: "3" 阅读全文

posted @ 2019-06-05 15:07 荣锋亮阅读(1318) 评论(1) 推荐(0)

comlink 是来自google chrome 团队的简化webwokers 开发的类库

摘要： comlink 可以帮助我们简单webworkers 的开发，同时很小（1.1kb），具体使用我们可以看下面一张图说明 comlink 使用起来也比较方便，官方也提供了完整的api 文档参考资料 https://github.com/GoogleChromeLabs/comlink 阅读全文

posted @ 2019-06-05 13:45 荣锋亮阅读(887) 评论(0) 推荐(0)

graphql-inspector graphql schema比较&&文档校验&&查找破坏性变动工具

摘要： graphql-inspector 是一个方便的graphql 周边工具，可以加速graphql 应该的开发，同时可以帮助我们排查问题包含以下特性：进行schema 的比较文档校验（通过schema）相似以及重复类型查找查找破坏性或者危险的变动查看基于文档的schema 覆盖率 mock 阅读全文

posted @ 2019-06-05 13:29 荣锋亮阅读(525) 评论(0) 推荐(0)

lyft amundsen简单试用

摘要：昨天有说过amundsen 官方为我们提供了dockerc-compose 运行的参考配置，以下是一个来自官方的 quick start clone amundsen 代码 amundsen 使用了git 子模块，同时我们运行demo，需要的项目也在里边 git clone --recurse-su 阅读全文

posted @ 2019-06-05 10:58 荣锋亮阅读(2162) 评论(0) 推荐(0)

Prisma 2 is Coming Soon

摘要：转自：https://www.prisma.io/blog/prisma-2-is-coming-soon-mwwfhevie993 Prisma 2 will introduce many fundamental improvements. Making the Prisma server opt 阅读全文

posted @ 2019-06-04 20:32 荣锋亮阅读(622) 评论(0) 推荐(0)

amundsen 来自lyft 的开源数据发现平台

摘要： amundsen 是来自lyft 开源的元数据管理、数据发现平台，功能点很全，有一个比较全的前端、后端以及数据处理框架参考架构图说明从官方介绍以及github代码仓库可以看出还是比较全的整体解决方案，很值得研究学习下，同时官方提供的基于docker-compose 的可运行环境可以简化我们环阅读全文

posted @ 2019-06-04 20:13 荣锋亮阅读(3478) 评论(0) 推荐(0)

packr 方便的潜入静态资源文件到golang 二进制文件中

摘要：类似的工具以前有介绍过statik，今天使用的工具是packr 也是很方便的golang tools 安装 go get -u github.com/gobuffalo/packr/packr 或者我们可以直接使用二进制文件下载地址：https://github.com/gobuffalo/pac 阅读全文

posted @ 2019-06-04 19:27 荣锋亮阅读(2482) 评论(0) 推荐(0)

导航

公告