上一页 1 ··· 87 88 89 90 91 92 93 94 95 ··· 133 下一页

2019年6月17日

HAProxy 2.0 and Beyond

摘要: 转自:https://www.haproxy.com/blog/haproxy-2-0-and-beyond/ 关于haproxy 2.0 的新特性说明 HAProxy Technologies is excited to announce the release of HAProxy 2.0, b 阅读全文

posted @ 2019-06-17 08:29 荣锋亮 阅读(736) 评论(0) 推荐(0)

2019年6月16日

rustup 使用

摘要: rustup 可以帮助我们安装不同版本的rust 编程需要的工具连,同时可以方便的进行不同版本 之间的切换,类似nodejs 的nvm,n, ruby 的 rvm python 的 venv 。。。 rustup 基本使用 我们在首次使用安装脚本,或者安装包安装完成rust 之后就会附带rustup 阅读全文

posted @ 2019-06-16 10:19 荣锋亮 阅读(4670) 评论(0) 推荐(0)

2019年6月15日

Vigil 发送多人邮件通知的处理

摘要: Vigil 默认是只能发送单人邮件,但是我们有需要发送多个的场景。 解决方法: 大家使用一样的账户登陆 使用邮件组 修改下源码 为了学习下Vigil 的构建,以及原理,我简单通过修改源码的方式(目前支持4个人,但是代码是写死的) 后边可以进一步优化 项目github 代码 代码我已经提交github 阅读全文

posted @ 2019-06-15 09:36 荣锋亮 阅读(465) 评论(0) 推荐(0)

2019年6月13日

pgloader 学习(八) pg 2 pg 简单demo

摘要: pg 数据到pg 数据的迁移,同时支持名称的变更 环境准备 docker-compose文件 内容偏多可以忽略部分 version: "3" services: pgloader-csv: image: dimitri/pgloader volumes: - "./init-db:/opt/db" 阅读全文

posted @ 2019-06-13 21:11 荣锋亮 阅读(966) 评论(0) 推荐(0)

pgloader 学习(七) 从归档文件加载数据

摘要: 我们可以直接从zip,tar,gzip 文件获取内容 command file 参考格式 LOAD ARCHIVE FROM /Users/dim/Downloads/GeoLiteCity-latest.zip INTO postgresql:///ip4r ​ BEFORE LOAD DO $$ 阅读全文

posted @ 2019-06-13 20:31 荣锋亮 阅读(484) 评论(0) 推荐(0)

pgloader 学习(六) 加载csv 数据

摘要: 关于加载的配置参数都是使用comand file command file 参考格式 LOAD CSV FROM 'GeoLiteCity-Blocks.csv' WITH ENCODING iso-646-us HAVING FIELDS ( startIpNum, endIpNum, locId 阅读全文

posted @ 2019-06-13 20:17 荣锋亮 阅读(906) 评论(0) 推荐(0)

pgloader 学习(五)pgloader 参考手册

摘要: pgloader将各种来源的数据加载到PostgreSQL中。它可以转换动态读取的数据,并在加载前后提交原始SQL。 它使用COPY PostgreSQL协议将数据流式传输到服务器,并通过填充一对reject.dat和reject.log文件来管理错误 pgloader 的操作,可以使用命令行参数, 阅读全文

posted @ 2019-06-13 14:48 荣锋亮 阅读(4620) 评论(0) 推荐(0)

pgloader 学习(四)一些简单操作例子

摘要: 上边已经说明了pgloader 的基本使用(篇理论),但是对于实际操作偏少,以下是一个简单的操作 不像官方文档那样,我为了方便,直接使用docker-compose 运行,同时这个环境,会在后边大部分场景使用,同时 对于pgloader 的dsl暂时不会仔细说明,后边会有介绍 环境准备 docker 阅读全文

posted @ 2019-06-13 11:13 荣锋亮 阅读(1810) 评论(0) 推荐(0)

pgloader 学习(三)快速使用

摘要: pgloader 支持多种数据源数据的加载,以下列出简单的操作命令,后边会有详细的使用说明 csv 格式内容加载 预备说明 需要先在pg 数据库创建表 create table districts_longlat ( usps text, geoid text, aland bigint, awat 阅读全文

posted @ 2019-06-13 09:44 荣锋亮 阅读(1313) 评论(0) 推荐(0)

pgloader 学习(二)特性矩阵&&命令行

摘要: pgloader 对于各种数据库支持的还是很完整的,同时有一套自己的dsl 特性矩阵 操作命令 命令格式 pgloader [<options>] [<command-file>]... pgloader [<options>] SOURCE TARGET pgloader [<options>] 阅读全文

posted @ 2019-06-13 09:24 荣锋亮 阅读(575) 评论(0) 推荐(0)

pgloader 学习(一)支持的特性

摘要: pgloader 是一个不错的多种格式数据同步到pg 的工具,pgloader 使用postrgresql 的copy 协议进行高效的数据同步处理 特性 加载文件到内容pg 多种数据源格式的支持 csv、fixed 列、dbase、sqlte、ibm ixf、postgresql、mysql、sql 阅读全文

posted @ 2019-06-13 09:19 荣锋亮 阅读(669) 评论(0) 推荐(0)

2019年6月12日

使用readthedocs 发布 sphinx doc文档

摘要: readthedocs 是由社区驱动的开源sphinx doc 托管服务,我们可以用来方便的构建以及发布文档 这是一个简单的demo 项目,使用了用的比较多的sphinx_rtd_theme 主题,主要是试用 注册账户 sphinx 文档需要让readthedocs 托管,我们需要一个账户,注册地址 阅读全文

posted @ 2019-06-12 10:55 荣锋亮 阅读(2211) 评论(0) 推荐(0)

pgloader 方便的数据迁移工具

摘要: pgloader 是一个支持多种数据源迁移到pg 数据库的工具,高性能,使用灵活同时作者 也提供了docker 版本的镜像,今年3月份使用此工具的时候,发现好久都没更新了,但是 最近作者有了新版本的发布,同时支持pg to pg,修复了部分bug,同时也有了新的官方 文档。 同时作者提出的Conti 阅读全文

posted @ 2019-06-12 10:00 荣锋亮 阅读(782) 评论(0) 推荐(0)

circus && web comsole docker-compose 独立部署web console 的一个bug

摘要: 如果直接使用以下的docker-compose 文件部署会有通过多播通信获取endpoint 异常的问题(circus 在stats endpoint 获取少了一个c) 这个问题是部分网络情况下会出现(多播包异常) version: "3" services: circus: image: dalo 阅读全文

posted @ 2019-06-12 08:52 荣锋亮 阅读(412) 评论(0) 推荐(0)

2019年6月11日

circus security 来自官方的安全建议

摘要: 转自:https://circus.readthedocs.io/en/latest/design/security/ Circus is built on the top of the ZeroMQ library and comes with no security at all in its 阅读全文

posted @ 2019-06-11 14:00 荣锋亮 阅读(267) 评论(0) 推荐(0)

circus && web comsole docker-compose 独立部署

摘要: 问题的根本原因是web console 的bug(实际上还是python 对于依赖版本出来不明确) circus 进程docker 镜像 dockerfile FROM python:slim-stretch LABEL AUTHOR="dalongrong" LABEL EMAIL="114159 阅读全文

posted @ 2019-06-11 13:54 荣锋亮 阅读(447) 评论(0) 推荐(0)

2019年6月10日

circus web console 依赖tornado>3.2 无法访问的bug

摘要: circus web console 是一个很不错的web 监控circus 工具,但是对于高版本一直存在一个bug 信息如下 Traceback (most recent call last): File "/usr/local/lib/python2.7/dist-packages/tornad 阅读全文

posted @ 2019-06-10 21:09 荣锋亮 阅读(439) 评论(0) 推荐(0)

circus 做为批处理的守护进程

摘要: circus 是集成了zeromq,使用python编写的一个进程以及socket 管理工具,使用circus 的进程管理,我们可以用来进行批任务的 处理,同时又能保证任务的准确 项目使用docker+ docker-compose 运行 案例 简单原理说明 就是一个简单的worker 分了三个,通 阅读全文

posted @ 2019-06-10 19:26 荣锋亮 阅读(1077) 评论(0) 推荐(0)

circus 架构

摘要: 转自官方文档:https://circus.readthedocs.io/en/latest/design/architecture/ Overall architecture Circus is composed of a main process called circusd which tak 阅读全文

posted @ 2019-06-10 18:56 荣锋亮 阅读(336) 评论(0) 推荐(0)

sphinx doc 文档生成脚手架工具

摘要: sphinx 在python 语言开发中,是一个使用的比较多文档生成脚手架工具,我们帮助我们生成 专业的帮助文档,同时也有远端的免费saas 托管服务,方便分发 安装 sphinx 的安装好多方便,mac 的可以使用brew,或者我们可以使用pip 安装,详细的可以参考官方文档 mac brew 安 阅读全文

posted @ 2019-06-10 15:29 荣锋亮 阅读(1738) 评论(0) 推荐(0)

circus docker image web 运行异常问题的解决

摘要: 经过查看官方文档,因为我使用的是python 较高版本,存在兼容问题,解决方法 修改基础镜像版本 代码如下: FROM python:2.7-slim-stretch LABEL AUTHOR="dalongrong" LABEL EMAIL="1141591465@qq.com" RUN apt- 阅读全文

posted @ 2019-06-10 10:23 荣锋亮 阅读(234) 评论(0) 推荐(0)

circus 进程以及socket 管理工具&&docker运行

摘要: circus 是由mozilla 团队开发基于python 以及zeromq 的进程以及socket 管理的工具,类似supervisord 但是比supervisord 更灵活方便 来自官方的使用比较 supervisord的 来自circus 的 docker 集成shiyong 搜索docke 阅读全文

posted @ 2019-06-10 09:49 荣锋亮 阅读(789) 评论(0) 推荐(0)

a list of frequently asked questions about Circus

摘要: 转自:https://circus.readthedocs.io/en/latest/faq/,可以帮助我们了解circus 的使用,以及问题解决 How does Circus stack compare to a classical stack? In a classical WSGI stac 阅读全文

posted @ 2019-06-10 09:29 荣锋亮 阅读(293) 评论(0) 推荐(0)

2019年6月9日

python 微服务开发书中几个方便的python框架

摘要: python 微服务开发是一本讲python 如果进行微服务开发的实战类书籍,里面包含了几个很不错的python 模块,记录下,方便后期回顾学习 处理并发的模块 greenlet &&gevent twisted && tornado asyncio web api 模块 当然有好多可以使用的,只记 阅读全文

posted @ 2019-06-09 08:39 荣锋亮 阅读(7739) 评论(0) 推荐(0)

2019年6月8日

Collecting metrics with the PostgreSQL and TimescaleDB output plugin for Telegraf

摘要: 转自:https://docs.timescale.com/v1.3/tutorials/telegraf-output-plugin 文章演示了如何使用pg output 插件 以及Telegraf agent 获取系统信息到timescaledb,一篇不错的实践类文章 一张参考图: Telegr 阅读全文

posted @ 2019-06-08 09:00 荣锋亮 阅读(768) 评论(2) 推荐(1)

2019年6月7日

dbt 0.13.0 新添加特性sources 试用

摘要: dbt 0.13 添加了一个新的功能sources 我呢可以用来做以下事情 从基础模型的源表中进行数据选择 测试对于源数据的假设 计算源数据的freshness source 操作 定义source 模版格式 注意对于pg 等类型的,如果包含了schema 的可能需要配置额外参数,或者通过schem 阅读全文

posted @ 2019-06-07 17:48 荣锋亮 阅读(706) 评论(0) 推荐(0)

apisix 基于openresty 的api 网关

摘要: apisix 是由openresty 团队开发并开源的微服务api gateway,还不错,官方文档也比较全,同时这个也是一个不错的学习openresty 的项目 以下为来自官方的架构图 插件加载 插件结构 参考资料 https://github.com/iresty/apisix 阅读全文

posted @ 2019-06-07 09:25 荣锋亮 阅读(2772) 评论(0) 推荐(0)

2019年6月6日

A revolutionary architecture for building a distributed graph

摘要: 转自:https://blog.apollographql.com/apollo-federation-f260cf525d21 What if you could access all of your organization’s data by typing a single GraphQL q 阅读全文

posted @ 2019-06-06 12:23 荣锋亮 阅读(630) 评论(0) 推荐(0)

testinfra 基础设施测试工具

摘要: testinfra 是基于python 开发的基础设施测试工具,我们可以用来方便的测试基础设施 是否符合我们的要求(系统,软件。。。) 一个参考demo def test_passwd_file(host): passwd = host.file("/etc/passwd") assert pass 阅读全文

posted @ 2019-06-06 10:50 荣锋亮 阅读(1472) 评论(0) 推荐(0)

tox 试用

摘要: 安装 pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox pip install tox tox 阅读全文

posted @ 2019-06-06 09:52 荣锋亮 阅读(1274) 评论(0) 推荐(0)

tox python项目虚拟环境管理自动化测试&&构建工具

摘要: tox 是一个方便的工具,可以帮助我们管理python 的虚拟环境,同时可以进行项目自动测试以及构建 tox 如何工作的 说明 从上图我们也可以看出如何在我们项目中使用tox 参考资料 https://github.com/tox-dev/tox https://tox.readthedocs.io 阅读全文

posted @ 2019-06-06 08:48 荣锋亮 阅读(1042) 评论(0) 推荐(0)

2019年6月5日

puppeteer 试用

摘要: puppeteer 是chrome 团队提供的Headless chrome node api 库,我们可以用来方便的进行chrome 操作,同时 可以做好多事情(web 爬虫,生成pdf,截图。。。) 安装 注意合理上网 npm i puppeteer --save npm i puppeteer 阅读全文

posted @ 2019-06-05 21:25 荣锋亮 阅读(420) 评论(0) 推荐(0)

My journey introducing the data build tool (dbt) in project’s analytical stacks

摘要: 转自:https://www.lantrns.co/my-journey-introducing-the-data-build-tool-dbt-in-projects-analytical-stacks/ Not sure I remember how, but I had the good lu 阅读全文

posted @ 2019-06-05 18:28 荣锋亮 阅读(464) 评论(0) 推荐(0)

使用singer tap-postgres 同步数据到pg

摘要: singer 是一个很不错的开源etl 解决方案,以下演示一个简单的数据从pg 同步到pg 很简单就是使用tap-postgres + target-postgres 环境准备 对于测试的环境的数据库使用docker-compose 运行 docker-compose 文件 version: "3" 阅读全文

posted @ 2019-06-05 15:07 荣锋亮 阅读(1318) 评论(1) 推荐(0)

comlink 是来自google chrome 团队的简化webwokers 开发的类库

摘要: comlink 可以帮助我们简单webworkers 的开发,同时很小(1.1kb),具体使用我们可以看下面 一张图 说明 comlink 使用起来也比较方便,官方也提供了完整的api 文档 参考资料 https://github.com/GoogleChromeLabs/comlink 阅读全文

posted @ 2019-06-05 13:45 荣锋亮 阅读(887) 评论(0) 推荐(0)

graphql-inspector graphql schema比较&&文档校验&&查找破坏性变动工具

摘要: graphql-inspector 是一个方便的graphql 周边工具,可以加速graphql 应该的开发,同时可以帮助我们排查问题 包含以下特性: 进行schema 的比较 文档校验(通过schema) 相似以及重复类型查找 查找破坏性或者危险的变动 查看基于文档的schema 覆盖率 mock 阅读全文

posted @ 2019-06-05 13:29 荣锋亮 阅读(525) 评论(0) 推荐(0)

lyft amundsen简单试用

摘要: 昨天有说过amundsen 官方为我们提供了dockerc-compose 运行的参考配置,以下是一个来自官方的 quick start clone amundsen 代码 amundsen 使用了git 子模块,同时我们运行demo,需要的项目也在里边 git clone --recurse-su 阅读全文

posted @ 2019-06-05 10:58 荣锋亮 阅读(2162) 评论(0) 推荐(0)

2019年6月4日

Prisma 2 is Coming Soon

摘要: 转自:https://www.prisma.io/blog/prisma-2-is-coming-soon-mwwfhevie993 Prisma 2 will introduce many fundamental improvements. Making the Prisma server opt 阅读全文

posted @ 2019-06-04 20:32 荣锋亮 阅读(622) 评论(0) 推荐(0)

amundsen 来自lyft 的开源数据发现平台

摘要: amundsen 是来自lyft 开源的元数据管理、数据发现平台,功能点很全,有一个比较全的前端、后端以及 数据处理框架 参考架构图 说明 从官方介绍以及github代码仓库可以看出还是比较全的整体解决方案,很值得研究学习下,同时官方提供的基于docker-compose 的可运行环境可以简化我们环 阅读全文

posted @ 2019-06-04 20:13 荣锋亮 阅读(3478) 评论(0) 推荐(0)

packr 方便的潜入静态资源文件到golang 二进制文件中

摘要: 类似的工具以前有介绍过statik,今天使用的工具是packr 也是很方便的golang tools 安装 go get -u github.com/gobuffalo/packr/packr 或者我们可以直接使用二进制文件 下载地址:https://github.com/gobuffalo/pac 阅读全文

posted @ 2019-06-04 19:27 荣锋亮 阅读(2482) 评论(0) 推荐(0)

上一页 1 ··· 87 88 89 90 91 92 93 94 95 ··· 133 下一页

导航