荣锋亮 - 博客园

使用OASGraph 暴露rest 接口为graphql api

摘要： OASGraph 是loopback 团队开发的方便将rest api 暴露为graphql 的工具，这个也是loopback 4 的一个新特性类似的有些团队提出了binding 以及stitch 的概念，还有些团队使用swagger openapi 规范进行协议的适配以及转换， OASGraph 阅读全文

posted @ 2018-10-26 15:38 荣锋亮阅读(475) 评论(0) 推荐(0)

hasura-graphql 集成 pipelinedb 1.0.0

摘要： pipelinedb 1.0.0 已经是一个标准的pg 扩展了，同时以前的语法也有变动，但是集成进hasura-graphql 更方便了使用docker-compose 运行环境准备 docker-compose 文件 version: "3" services: db: image: dalo 阅读全文

posted @ 2018-10-26 12:43 荣锋亮阅读(373) 评论(0) 推荐(0)

PipelineDB 1.0.0 docker 运行

摘要： PipelineDB 1.0 是基于标准的pg 扩展来做的，安装也更方便了，目前还没有对应的docker 镜像所以参考timescaledb 做了一个，方便测试以及使用参考地址 https://github.com/rongfengliang/pipelinedb-docker 使用启动 do 阅读全文

posted @ 2018-10-25 19:12 荣锋亮阅读(703) 评论(0) 推荐(0)

PipelineDB 1.0.0 发布——使用标准的pg 扩展开发模型

摘要： PipelineDB 1.0.0 发布已经发布了，现在的已经成为一个标准的pg 扩展了，语法也有变动 create continous view 修改为了view，create streaem 修改为了create foreign table 比较好的是，官方的文档同时也已经变更为新的api 接口了阅读全文

posted @ 2018-10-25 18:14 荣锋亮阅读(667) 评论(0) 推荐(0)

loopback v4 特性

摘要： loopback 是一个api 服务框架，挺方便的，同时也已经演进了好几代了v4 有一些新功能的支持新特性基于typescript/es2017 开发 openapi 驱动的rest api 开发灵活方便的扩展开发支持graphql 了（graphql 说明大家已经普遍接受，认可了）参考阅读全文

posted @ 2018-10-25 11:13 荣锋亮阅读(448) 评论(0) 推荐(0)

gRPC-Web is going GA

摘要：原文： https://www.cncf.io/blog/2018/10/24/grpc-web-is-going-ga On behalf of the Cloud Native Computing Foundation, I’m excited to announce the GA releas 阅读全文

posted @ 2018-10-25 10:49 荣锋亮阅读(530) 评论(0) 推荐(0)

drill 集成开源s3 存储minio

摘要： drill 支持s3数据的查询，同时新版的通过简单配置就可以实现minio 的集成测试使用docker 运行drill 参考 https://www.cnblogs.com/rongfengliang/p/9846899.html，minio 安装也可以使用docker minio bucket 阅读全文

posted @ 2018-10-25 08:54 荣锋亮阅读(531) 评论(0) 推荐(0)

docker 方式运行drill

摘要： drill 1.14 版本已经官方支持使用docker 直接运行可，还是比较方便的，尽管镜像有点大，但是实际测试使用还是比较方便的，实际上自己做一个也比较简单。下载镜像 docker pull drill/apache-drill:1.14.0 运行命令行模式 docker run -i -- 阅读全文

posted @ 2018-10-24 23:15 荣锋亮阅读(573) 评论(0) 推荐(0)

dns over https 简单测试(docker 运行)

摘要： dns over https 已经成为了标准了，给予我们的dns 解析添加了安全的支持测试项目使用docker && docker-compose 运行一张参考图环境准备 dnscrypt-proxy (dns 代理的) 直接下载了linux 版本，并安装依赖 https://github.c 阅读全文

posted @ 2018-10-24 16:38 荣锋亮阅读(3079) 评论(0) 推荐(0)

statik golang 静态资源嵌入二进制文件工具使用（docker 构建)

摘要：将静态资源打包进二进制文件有好多方便的地方方便客户演示代码简单加密运行方便 statik 就是一款在golang 中用的比较多，nodejs 有一款pkg （oclif 就推荐使用此工具） statik 安装 go get github.com/rakyll/statik 使用 statik 阅读全文

posted @ 2018-10-23 22:10 荣锋亮阅读(4427) 评论(2) 推荐(1)

Open-sourcing sso, the way we secure services at BuzzFeed

摘要：文章来源： https://tech.buzzfeed.com/unleashing-the-a6a1a5da39d6 说明：设计有好多地方值得借鉴，粘贴过来的排版不好 Today we are open-sourcing sso, our single-sign-on authenticatio 阅读全文

posted @ 2018-10-23 11:23 荣锋亮阅读(472) 评论(0) 推荐(0)

streamsets 3.5 的一些新功能

摘要： streamsets 3.5 有了一些新的特性以及增强，总之是越来越方便了，详细的可以查看官方说明，以下简单例举一些比较有意义的。 origins 新的pulsar 消费origin jdbc 多表消费者以及jdbc 查询消费者功能增强 salesforce 组件增强 websocket 组件增强阅读全文

posted @ 2018-10-23 09:15 荣锋亮阅读(578) 评论(0) 推荐(0)

hasura graphql-engine v1.0.0-alpha25 的几个方便功能

摘要： hasura graphql-engine 是一个很不错的graphql 引擎，但是我们的数据模型经常可能会有变动，但是以前的版本对于这些的处理，官方的方式是删除元数据，重启server，都不是很好的方式， v1.0.0-alpha25 支持了rest 以及reload metadata 的功能，阅读全文

posted @ 2018-10-22 18:23 荣锋亮阅读(226) 评论(0) 推荐(0)

dbt 包依赖简单测试

摘要： dbt 包含一个自己的包管理，可以使用git 等工具，还是很方便的，可以方便的进行代码共享，实现复用创建简单包实际上就是一个简单的dbt 项目,参考项目 https://gitlab.com/dalongrong/dbt-gitlab-demo 创建简单包 dbt init gitlab-dem 阅读全文

posted @ 2018-10-22 15:13 荣锋亮阅读(828) 评论(0) 推荐(0)

dbt seed 以及base ephemeral使用

摘要： seed 可以方便的进行数据的导入，可以方便的进行不变数据（少量）以及测试数据的导入， base 设置为 ephemeral（暂态），这个同时也是官方最佳实践的建议项目依赖的gitlab 数据可以参考https://github.com/rongfengliang/graphql-engine-g 阅读全文

posted @ 2018-10-22 10:14 荣锋亮阅读(546) 评论(0) 推荐(0)

dbt macro 说明

摘要： macro是SQL的片段，可以像模型中的函数一样调用。macro可以在模型之间重复使用SQL，以符合DRY（不要重复自己）的工程原理。此外，共享包可以公开您可以在自己的dbt项目中使用的macro。要使用macro，macro-paths请在dbt_project.yml文件中添加配置条目。ma 阅读全文

posted @ 2018-10-21 10:30 荣锋亮阅读(409) 评论(0) 推荐(0)

构建一个dbt 数据库适配器

摘要：脚手架新的适配器首先，将odbc适配器模板复制到同一目录中的新文件。更新dbt / adapters / factory.py以将新适配器包含为类型。还要将类型添加到dbt / contracts / connection.py，并添加一个定义适配器配置文件外观的约定。实现适配器功能在适配阅读全文

posted @ 2018-10-21 10:20 荣锋亮阅读(954) 评论(0) 推荐(0)

dbt 包的构建

摘要： dbt的包是一种可以复用的代码，可以方便进行模型的共享创建一个包和普通的dbt 项目类似初始化（init） dbt init [packagename] 目录结构文件: README.md dbt_project.yml 目录: models/ macros/ tests/ analysis 阅读全文

posted @ 2018-10-21 10:09 荣锋亮阅读(477) 评论(0) 推荐(0)

dbt 生产环境使用

摘要：可以使用如下方式：云主机或者普通的机器使用 airflow 使用 Sinter, 一个托管的dbt runner 常见问题: 如何管理权限？可以使用hooks 进行配置用户组以及权限说明实际上，支持任务调度的工具都是可以用来触发dbt的参考资料 https://docs.getdbt.c 阅读全文

posted @ 2018-10-21 09:48 荣锋亮阅读(451) 评论(0) 推荐(0)

来自官方的一些dbt 最佳实践

摘要：限制对原始数据的依赖性您的项目将取决于存储在数据库中的原始数据。我们建议制作所谓的“基本模型”，以最大限度地减少对原始数据表的依赖性。在此约定中，基本模型可以具有以下职责：仅选择与当前分析相关的字段以限制复杂性。以后可以随时添加更多字段。执行任何所需的类型转换。执行字段别名以将字段名称合理化阅读全文

posted @ 2018-10-21 09:42 荣锋亮阅读(1465) 评论(0) 推荐(0)

knowledge-repo 知识管理简单试用

摘要： knowledge-repo 是airbnb 开源的知识管理工具，只集成git 数据库等类型的存储安装 pip install --upgrade "knowledge-repo[all]" 基本项目创建git 项目 knowledge_repo --repo init demoapp 创建简单阅读全文

posted @ 2018-10-20 22:45 荣锋亮阅读(818) 评论(0) 推荐(0)

dbt 包管理

摘要： dbt 可以方便的支持基于git 的包管理依赖申明位置 dbt_project.yml 中的repositories 或者使用packages.yaml 格式 dbt_project.yml: repositories: - https://github.com/fishtown-analyti 阅读全文

posted @ 2018-10-20 20:28 荣锋亮阅读(511) 评论(0) 推荐(0)

dbt 的知识文档管理

摘要： dbt 支持docs的管理，可以方便进行分享，以及大家的可视化工作有一篇文档讲的特别好分析了知识共享，知识管理的重要性（dbt 对应公司的ceo） https://blog.fishtownanalytics.com/scaling-knowledge-160f9f5a9b6c?_branch_m 阅读全文

posted @ 2018-10-20 20:08 荣锋亮阅读(603) 评论(0) 推荐(0)

knowledge 开源知识管理系统

摘要： knowledge 是一个不错的知识管理系统，基于markdown 我们可以方便的进行知识的标签以及展示使用docker-compose 运行环境准备 docker-compose 文件 version: "3" services: k: image: koda/docker-knowledg 阅读全文

posted @ 2018-10-20 19:43 荣锋亮阅读(11244) 评论(0) 推荐(0)

hasura graphql server 集成gitlab

摘要：默认官方是提供了gitlab 集成的demo的，但是因为gitlab 一些版本的问题，跑起来总有问题，所以查找相关资料测试了一个可以运行的版本项目使用docker-compose 运行参考 https://github.com/Trantect/docker-compose.yamls 环境准阅读全文

posted @ 2018-10-20 10:40 荣锋亮阅读(446) 评论(0) 推荐(0)

dbt 基本试用

摘要： dbt 是一个很不错的进行etl 中的t 处理的工具，灵活简单，我们需要写的就是select 语句 dbt 帮助我们进行处理测试集成了graphql 以及使用docker 运行安装 pip install dbt 创建简单demo 使用dbt 处理 dbt init demoapp 配置prof 阅读全文

posted @ 2018-10-19 11:08 荣锋亮阅读(3244) 评论(0) 推荐(0)

dbt- 数据构建工具

摘要： dbt（数据构建工具）是一个命令行工具，只需编写select语句即可转换仓库中的数据。 dbt处理将这些select语句转换为表和视图。DBT帮助做T的ELT（提取，加载和转换）的过程-它不提取或加载数据，但它是在改造一个已经加载到你的仓库中的数据非常好。参考资料 https://docs.ge 阅读全文

posted @ 2018-10-18 11:34 荣锋亮阅读(3044) 评论(0) 推荐(0)

使用just-api 进行接口测试

摘要： just-api 是基于配置的测试，同时支持基于jsonpath jsonschema 的数据校验，对于数据的请求只集成hook，支持测试失败重试、测试报告、graphql api 测试。。。。使用docker-compose 运行项目初始化参考项目 https://github.com/r 阅读全文

posted @ 2018-10-17 08:26 荣锋亮阅读(555) 评论(0) 推荐(0)

开源泛域名服务xip.io部署试用

摘要： xip.io 是一个很方便的泛域名服务，类似的有一个xip.name 的开源实现下载 go get github.com/peterhellberg/xip.name 启动二进制包在GOPATH/bin 格式 xip.name -fqdn <FQDN> -ip <FQDN IP addredd> 阅读全文

posted @ 2018-10-16 13:47 荣锋亮阅读(3705) 评论(0) 推荐(0)

yugabyte 集成JanusGraph测试

摘要： yugabyte 集成图数据库JanusGraph,原理比较简单就是yugabyte 内置Cassandra，配置好JanusGraph 的访问就可以了。使用docker 模式部署创建yugabyte 集群（docker cli ）下载部署工具 mkdir ~/yugabyte && cd ~ 阅读全文

posted @ 2018-10-15 15:12 荣锋亮阅读(812) 评论(0) 推荐(0)

flynn 开源paas 平台安装试用

摘要： flynn 是一个不错的开源paas 平台，基于git 以及容器技术，开发模型与 heroku 基本一样，同时构建方式就是基于heroku 的buildpacks 安装官方文档提示说明是ubuntu 操作系统16 以及14 ，所以安装就试用ubuntu了 shell sudo bash < <(c 阅读全文

posted @ 2018-10-13 22:46 荣锋亮阅读(1872) 评论(0) 推荐(0)

一个不错的nomad raw_exec && docker 运行例子（集成访问网关）

摘要： github 上有一个关于nomad up && runing 不错的项目，包含了一个tomcat 应用的部署，以及基于容器运行的网关服务项目参考地址 https://github.com/grove-mountain/nomad-up-and-running 环境准备安装nomad consu 阅读全文

posted @ 2018-10-12 10:28 荣锋亮阅读(1177) 评论(0) 推荐(0)

graphql elasticsearch 集成试用

摘要： graphql 是很方便的api 查询语言，elasticsearch 可以方便的进行全文检索的应用开发有一个方便的npm 包graphql-compose-elasticsearch 可以进行es 的查询测试使用docker 运行,参考代码https://github.com/rongfeng 阅读全文

posted @ 2018-10-11 19:26 荣锋亮阅读(2022) 评论(0) 推荐(0)

git server side hook 试用

摘要： git 的hook 是一个很方便的功能，我们可以使用hook 做好多处理，比如client side hook 进行提交格式校验，server side 进行ci/cd 处理测试使用docker-compose 运行 git server 使用gogs 环境准备 docker-compose v 阅读全文

posted @ 2018-10-10 22:02 荣锋亮阅读(961) 评论(0) 推荐(0)

12 Factor CLI Apps

摘要： CLIs are a fantastic way to build products. Unlike web applications, they take a small fraction of the time to build and are much more powerful. With 阅读全文

posted @ 2018-10-09 15:35 荣锋亮阅读(299) 评论(0) 推荐(0)

oclif cli app开发简单试用

摘要： oclif 是heroku 开源的cli 开发框架，有一篇关于12 factor cli app 开发的文章很值得看看 https://medium.com/@jdxcode/12-factor-cli-apps-dd3c227a0e46 创建简单单行命令行工具使用npx npx oclif si 阅读全文

posted @ 2018-10-09 14:50 荣锋亮阅读(1247) 评论(0) 推荐(0)

jaeger 使用ElasticSearch 作为后端存储

摘要： jaeger 支持es 作为后端存储，这样对于查询、以及系统扩展是比较方便的使用docker-compose 运行环境准备参考项目： https://github.com/rongfengliang/nginx-opentracing-demo docker-compose file vers 阅读全文

posted @ 2018-10-08 16:17 荣锋亮阅读(4023) 评论(0) 推荐(0)

nginx-opentracing 简单使用

摘要： nginx 的日常的应用开发中占比还是比较高的，opentracing 是一个分布式追踪标准相应是开源实现也比较多。nginx-opentracing 是一个opentracing nginx 的插件，让我们可以方便的进行服务的性能追踪，查看服务调用依赖例子使用官方demo，运行使用docke 阅读全文

posted @ 2018-10-08 10:07 荣锋亮阅读(2297) 评论(3) 推荐(0)

hasura graphql server 集成gatsby

摘要： hasura graphql server 社区基于gatsby-source-graphql 开发了gatsby-postgres-graphql 插件，可以快速的开发丰富的网站基本使用安装hasura graphql server 我使用的Heroku 已经部署好了 https://ron 阅读全文

posted @ 2018-09-30 09:47 荣锋亮阅读(409) 评论(0) 推荐(0)

nuclio kubernetes 部署

摘要：一张参考架构图：从图中可以看到nuclio可以运行到docker 以及kubernetes中提供了kubernetes 部署的脚本安装创建命名空间 kubectl create namespace nuclio rbac 创建 kubectl apply -f https://raw.git 阅读全文

posted @ 2018-09-29 14:47 荣锋亮阅读(1338) 评论(0) 推荐(0)

导航

公告