荣锋亮 - 博客园

grandstack graphql 开发模型

摘要：当前grandstack 支持两类开发方式 js （使用Neo4j-graphql-js）插件模型 js 模型参考https://github.com/rongfengliang/grand-stack-starter 主要是使用Neo4j-graphql-js 进行查询以及类型的resolve 阅读全文

posted @ 2018-09-11 08:56 荣锋亮阅读(208) 评论(0) 推荐(0)

几本不错的graphql 电子书

摘要：当前专门讲graphql 的数据不是很多，但是越来越多的graphql 项目的出现以及graphql 自身的便捷，老外已经有人去写graphql 的设计以及基本使用了。 ebooks 地址 https://github.com/rongfengliang/ebooks 专门讲解graphql 的书阅读全文

posted @ 2018-09-11 08:27 荣锋亮阅读(594) 评论(0) 推荐(0)

grandstack graphql 工具基本试用

摘要： grandstack 是一个方便graphql 应用开发的工具使用docker-compose 运行环境准备官方的starter 比较好，已经是使用docker-compose 创建好了所有的依赖,但是目前使用的版本镜像有bug，我修改了版本，可以运行参考github 项目 https:// 阅读全文

posted @ 2018-09-10 21:05 荣锋亮阅读(544) 评论(0) 推荐(0)

grandstack 基于graphql&&react&& apollo&& neo4j 的全栈开发工具

摘要： grandstack是一个基于graphql&&react&& apollo&& neo4j 的全栈开发工具。有篇关于graphql 的5个常见问题的文章，由此引出了grandstack的开发工具 https://blog.grandstack.io/five-common-graphql-pro 阅读全文

posted @ 2018-09-10 09:57 荣锋亮阅读(599) 评论(0) 推荐(0)

watchtower 自动更新容器的工具

摘要： watchtower 自动更新容器的工具安装使用docker docker run -d \ --name watchtower \ -v /var/run/docker.sock:/var/run/docker.sock \ v2tec/watchtower 使用当容器镜像变更的时候，重启，阅读全文

posted @ 2018-09-09 23:05 荣锋亮阅读(808) 评论(0) 推荐(0)

apache airflow docker 运行简单试用

摘要： airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。 airflow 将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖关系执行tasks。同时， airflow 阅读全文

posted @ 2018-09-08 11:43 荣锋亮阅读(5556) 评论(0) 推荐(0)

hasura graphql server event trigger 试用

摘要： hasura graphql server 是一个很不错的graphql 引擎，当前版本已经支持event triiger 了使用此功能我们可以方便的集成webhook功能，实现灵活，稳定，快捷的消息驱动的应用 webhook 使用benthos ，简单例子参考 https://www.cnblo 阅读全文

posted @ 2018-09-06 23:06 荣锋亮阅读(326) 评论(0) 推荐(0)

restheart 基本使用

摘要： restheart 是一个方便基于mongodb的restapi 开发框架参考项目 https://github.com/rongfengliang/restheart-docker-compose docker-compose 环境运行 docker-compose yaml 文件 versio 阅读全文

posted @ 2018-09-04 15:02 荣锋亮阅读(1512) 评论(0) 推荐(0)

vulcanjs 简单package 编写

摘要： vulcanjs 功能是以包进行管理，包里面包含了运行依赖的组件以及对于路由的注册参考项目项目结构 ├── README.md ├── license.md ├── package-lock.json ├── package.json ├── packages │ ├── _boilerplat 阅读全文

posted @ 2018-09-03 10:25 荣锋亮阅读(315) 评论(0) 推荐(0)

vulcanjs 包类型

摘要： npm 添加在pacakge.json 文件中的 meteor core 包由meteor 框架提供的 meteor remote 包从包服务器加载的，使用username：package 格式组成 meteor local 包在本地文件系统，格式也是username：package 格式 v 阅读全文

posted @ 2018-09-02 22:52 荣锋亮阅读(358) 评论(0) 推荐(0)

vulcanjs schemas&& collections

摘要：一张参考图说明从上图我们可以方便的看出schmea 能做的事情 Generate a GraphQL equivalent of your schema to control your GraphQL API.（生成 graphql api） Control permissions for ac 阅读全文

posted @ 2018-09-02 22:33 荣锋亮阅读(216) 评论(0) 推荐(0)

vulcanjs 核心架构概念

摘要：基于包的架构为了保证系统的灵活以及可扩展，vulcanjs 使用基于包的架构设计，每一个功能都是一个包，可以方便的添加，移除扩展、而不是修改 vulcan 的设计哲学是进行系统扩展，而不是编辑修改核心基础代码注册&&执行好多vulcan 对象都是遵循注册&&执行的模式所有的条目都是首选注册阅读全文

posted @ 2018-09-02 22:23 荣锋亮阅读(289) 评论(0) 推荐(0)

vulcanjs 开源工具方便快速开发react graphql meteor 应用

摘要： vulcan 开源工具方便快速开发react graphql meteor 应用操作环境mac os 安装 meteor 安装(此安装有点慢，可以通过正确上网解决) curl https://install.meteor.com/ | sh 成功界面 clone starer git clone 阅读全文

posted @ 2018-09-02 09:46 荣锋亮阅读(595) 评论(0) 推荐(0)

ory Oathkeeper Ecosystem

摘要： ory Oathkeeper 生态包含的组件 ORY Hydra is an OAuth 2.0 and OpenID Connect provider. ORY Oathkeeper is an Identity and Access Proxy. ORY Keto is an access co 阅读全文

posted @ 2018-09-01 22:16 荣锋亮阅读(459) 评论(0) 推荐(0)

ory Oathkeeper docker-compose 安装运行

摘要： Oathkeeper 相关介绍可以参考官方文档,主要就是cloud native 身份以及访问代理运行环境使用docker 安装(api proxy ) Dockerfile api: dockerfile-api FROM oryd/oathkeeper ENV DATABASE_URL=mem 阅读全文

posted @ 2018-09-01 18:50 荣锋亮阅读(491) 评论(0) 推荐(0)

benthos stream nats 集成试用

摘要：测试demo 来自官方例子使用docker-compose 进行运行 nats docker-compose file version: '3.3' services: nats: image: nats ports: - "4222:4222" - "8222:8222" - "6222:622 阅读全文

posted @ 2018-09-01 12:07 荣锋亮阅读(661) 评论(0) 推荐(0)

benthos 几个方便的帮助命令

摘要： benthos 的命令行帮助做的是比较方便的，基本上就是一个自包含的帮助文档全部命令 benthos --help 查询系统支持的caches benthos -list-caches 说明使用帮助命令对于我们使用有很大的帮助参考资料 https://github.com/Jeffail/be 阅读全文

posted @ 2018-09-01 11:04 荣锋亮阅读(348) 评论(0) 推荐(0)

benthos 通过配置文件配置 stream 说明

摘要： stream 模式，我们也可以通过配置文件进行配置参考配置文件 input: type: http_server buffer: type: memory pipeline: threads: 4 processors: - type: jmespath jmespath: query: "{id 阅读全文

posted @ 2018-09-01 10:55 荣锋亮阅读(434) 评论(0) 推荐(0)

benthos 通过rest api 配置 stream 说明

摘要： stream 模式，我们可以通过rest api 进行控制使用方法启动 benthos --streams 进行流的配置（rest api） curl http://localhost:4195/streams/foo -X POST --data-binary @- <<EOF input: 阅读全文

posted @ 2018-09-01 10:54 荣锋亮阅读(338) 评论(0) 推荐(0)

benthos stream 处理工具说明

摘要： benthos 是golang 编写的流处理工具，同时也可以作为一个类库使用,当前支持的source sink 还是比较全的（kafka rabbitmq http service s3 redis mqtt nats nsq websocket）核心组件包含的核心组件 inputs（输入）阅读全文

posted @ 2018-09-01 10:29 荣锋亮阅读(1171) 评论(0) 推荐(0)

openresty 使用cuid 类库生成短链接id

摘要： cuid 是一个不错的id 生成算发，类似的有shortid 、hashid 演示使用lua 包集成openresty 做测试使用docker-compose 运行 dockerfile FROM openresty/openresty:alpine-fat RUN apk add --no-ca 阅读全文

posted @ 2018-08-31 22:49 荣锋亮阅读(557) 评论(0) 推荐(0)

比jsonpath 更方便的json 数据查询JMESPath 使用

摘要：类似xml 的xpath json 有jsonpath 都是为了方便进行数据查询，但是jsonpath 的功能并不是很强大，如果为了方便查询可以使用jmespath。以下为简单使用：查询格式 search(<jmespath expr>, <JSON document>) -> <return 阅读全文

posted @ 2018-08-31 21:43 荣锋亮阅读(1148) 评论(0) 推荐(0)

streamsets 集成 rabbitmq 以及benthos stream 处理框架

摘要： benthos 是一个stream 处理框架，streamsets 也是，但是两者可以通过不同的工具进行集成起来一般我们可以使用http 服务，消息中间件（kafka、rabbitmq 。。。）使用docker-compose 运行服务配置 docker-compose 文件 version: 阅读全文

posted @ 2018-08-31 15:37 荣锋亮阅读(1946) 评论(0) 推荐(0)

All the Apache Streaming Projects: An Exploratory Guide

摘要： The speed at which data is generated, consumed, processed, and analyzed is increasing at an unbelievably rapid pace. Social media, the Internet of Thi 阅读全文

posted @ 2018-08-30 16:28 荣锋亮阅读(490) 评论(0) 推荐(0)

apache spark kubernets 部署试用

摘要： spark 是一个不错的平台，支持rdd 分析stream 机器学习。。。以下为使用kubernetes 部署的说明，以及注意的地方具体的容器镜像使用别人已经构建好的 deploy yaml 文件 deploy-k8s.yaml apiVersion: extensions/v1beta1 ki 阅读全文

posted @ 2018-08-30 15:12 荣锋亮阅读(897) 评论(1) 推荐(0)

apache flink kubernetes 运行试用

摘要：类似docker-compose 运行模式，使用的是deploy 的模式 deploy yaml 文件 deploy-k8s-yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: jobmanager namespa 阅读全文

posted @ 2018-08-29 13:43 荣锋亮阅读(2763) 评论(0) 推荐(0)

apache flink docker-compose 运行试用

摘要： apache 是一个流处理框架，官方提供了docker 镜像，同时也提供了基于docker-compose 运行的说明 docker-compose file version: "2.1" services: jobmanager: image: flink expose: - "6123" por 阅读全文

posted @ 2018-08-29 10:21 荣锋亮阅读(3906) 评论(0) 推荐(0)

prisma 服务器端订阅试用

摘要： graphql 协议是支持数据的实时订阅功能的（一般基于websocket 进行实现） prisma 支持客户端订阅以及服务器端订阅（类似webhook），可以方便将数据推送后端服务目的 prisma 实现这个功能是方便集成当前的serverless 基础设施，当前支持的是通过webhook 的阅读全文

posted @ 2018-08-28 12:51 荣锋亮阅读(703) 评论(0) 推荐(0)

stardog 基本试用(社区版)

摘要： stardog 是一个知识图谱的实现，实现了sparql 以及graphql 协议，使用起来也比较简单，官方文档挺全下载社区版，注册之后会有邮件通知，里面会包含license 以及软件包下载地址 https://www.stardog.com/ 邮件内容运行邮件会有说明快速入门的文档，对于阅读全文

posted @ 2018-08-27 09:51 荣锋亮阅读(1415) 评论(0) 推荐(0)

pipelinedb 滑动窗口

摘要：滑动窗口可以方便的让我们进行一段时间的数据分析几个主要函数 clock_timestamp 内置的函数，总是返回当前的时间戳 arrival_timestamp 事件达到的时间单滑动窗口参考 CREATE CONTINUOUS VIEW recent_users WITH (sw = '1 m 阅读全文

posted @ 2018-08-26 22:48 荣锋亮阅读(273) 评论(0) 推荐(0)

pipelinedb Continuous transforms 操作

摘要： Continuous transforms 可以进行数据的转换，数据是不进行存储，主要是可以加入到其他的stream pipeline 中,或者写到其他外部存储中，和存储过程结合使用,当前默认内置一个pipeline_stream_insert方便数据写入其他strem 注意不支持聚合操作 doc 阅读全文

posted @ 2018-08-26 22:30 荣锋亮阅读(390) 评论(0) 推荐(0)

pipelinedb continuous view 操作

摘要： continuous view 是 pipelinedb的核心，类似一个view，但是数据是合并了stream以及table的数据输入数据，并且是实时根据输入数据进行更新的语法 CREATE CONTINUOUS VIEW name AS query query是一个pg 的select 格式的阅读全文

posted @ 2018-08-26 11:38 荣锋亮阅读(454) 评论(0) 推荐(0)

hasura graphql 集成pipelinedb测试

摘要：实际上因为pipelinedb 是原生支持pg的，所以应该不存在太大的问题，以下为测试使用doker-compose 运行配置 docker-compose 文件 version: '3.6' services: postgres: image: tkanos/pipelinedb_kafka 阅读全文

posted @ 2018-08-26 00:18 荣锋亮阅读(272) 评论(0) 推荐(0)

prisma 集成 pipelinedb测试

摘要： pipelinedb 是一个基于pg数据库开发的stream sql 数据库，和prisma 集成起来可以开发很方便的stream 应用使用docker 安装项目初始化 prisma init 注意选择数据库类型为pg 注意选择数据库类型为pg prisma init 修改模板配置 versi 阅读全文

posted @ 2018-08-26 00:00 荣锋亮阅读(565) 评论(0) 推荐(0)

ory Oathkeeper cloud native 访问认证平台

摘要： ORY Oathkeeper is an Identity & Access Proxy (IAP) that authorizes HTTP requests based on sets of rules. The BeyondCorp Model is designed by Google an 阅读全文

posted @ 2018-08-24 18:23 荣锋亮阅读(702) 评论(0) 推荐(0)

golang 自定义importpath

摘要： golang 的包导入和其他语言有好多不一样的地方，以下是一个自定义的导入 golang 自定义导入说明一个官方的说明比较简单，就不翻译了，主要是说我们可以通过添加meta 数据告诉包如何进行加载比较简单，就不翻译了，主要是说我们可以通过添加meta 数据告诉包如何进行加载 For examp 阅读全文

posted @ 2018-08-24 15:08 荣锋亮阅读(1383) 评论(0) 推荐(0)

streamsets 集成 minio s3测试

摘要：具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务搭建具体搭建参考： https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket （crate 阅读全文

posted @ 2018-08-23 16:49 荣锋亮阅读(703) 评论(0) 推荐(0)

streamsets 集成 cratedb 测试

摘要：我们可以集成crate 到streamsets 中可以实现强大的数据导入，数据分析能力。演示的是进行csv 文件的解析并输出到cratedb 环境使用docker && docker-compose 环境启动 docker-compose yaml 文件 version: "3" services 阅读全文

posted @ 2018-08-23 14:51 荣锋亮阅读(1027) 评论(0) 推荐(0)

streamsets k8s 部署试用

摘要：使用k8s 进行 streamsets的部署（没有使用持久化存储） k8s deploy yaml 文件 deploy.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: streamsets namespace: 阅读全文

posted @ 2018-08-23 11:36 荣锋亮阅读(824) 评论(0) 推荐(0)

streamsets rest api 转换 graphql

摘要：原理很简单，就是使用swagger api 生成schema 然后代理请求处理api 调用参考项目 https://github.com/rongfengliang/streamsets-graphql-api streamsets restapi 使用的npm 包 package.json: { 阅读全文

posted @ 2018-08-22 19:13 荣锋亮阅读(1423) 评论(0) 推荐(0)

导航

公告