荣锋亮 - 博客园

StreamSets sdc rpc 测试

摘要：一个简单的参考图 destination pipeline 创建 pipeline flow sdc destination 配置 origin sdc rpc pipeline pipeline flow sdc rpc 配置 local fs 配置运行效果数据发送方数据接收方参考资料 h 阅读全文

posted @ 2018-08-22 10:51 荣锋亮阅读(496) 评论(0) 推荐(0)

StreamSets 相关文章

摘要：相关streamsets 文章（不按顺序）学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets st 阅读全文

posted @ 2018-08-22 10:33 荣锋亮阅读(525) 评论(0) 推荐(0)

StreamSets 多线程 Pipelines

摘要：以下为官方文档： Multithreaded Pipeline Overview A multithreaded pipeline is a pipeline with an origin that supports parallel execution, enabling one pipeline 阅读全文

posted @ 2018-08-22 10:31 荣锋亮阅读(1027) 评论(0) 推荐(0)

StreamSets SDC RPC Pipelines说明

摘要：主要目的是进行跨pipeline 数据的通信，而不仅仅是内部pipeline 的通信，之间不同网络进行通信一个参考图 pipeline 类型 origin destination 部署架构使用多个destination 保证可靠性，参考下图如果数据是相似的，可以实现负载均衡以及冗余，参考下图阅读全文

posted @ 2018-08-22 10:24 荣锋亮阅读(1416) 评论(0) 推荐(0)

StreamSets 管理 SDC Edge上的pipeline

摘要：可选的方式： ui （data colelctor）发送命令 UI 主要是创建edge pipeline 的时候进行edge server 的配置默认是 http://localhost:18633 发送命令启动时格式如下： bin/edge -start=<pipelineID> -run 阅读全文

posted @ 2018-08-22 10:05 荣锋亮阅读(482) 评论(0) 推荐(0)

StreamSets 部署 Pipelines 到 SDC Edge

摘要：可以使用如下方法：下载edge 运行包并包含pipeline定义文件. 直接发布到edge 设备. 在data colelctor 机器配置并配置了edge server 地址（主要需要网络可访问）导出edge pipeline 配置，并移动到edge 设备直接发布pipeline 可以通过u 阅读全文

posted @ 2018-08-22 09:54 荣锋亮阅读(533) 评论(0) 推荐(0)

StreamSets 设计Edge pipeline

摘要： edge pipeline 运行在edge 执行模式，我们可以使用 data collector UI 进行edge pipeline 设计，设计完成之后，你可以部署对应的pipeline到edge 设备可以设计的edge pipeline edge 发送pipeline edge 发送pipe 阅读全文

posted @ 2018-08-22 09:22 荣锋亮阅读(658) 评论(0) 推荐(0)

StreamSets Data Collector Edge 说明

摘要： Data Collector Edge 是不包含界面的agent 安装下载包 https://streamsets.com/opensource tar xf streamsets-datacollector-edge-<version>-<os>-<architecture>.tgz 使用doc 阅读全文

posted @ 2018-08-21 22:52 荣锋亮阅读(2100) 评论(0) 推荐(0)

prisma 集成tidb 安装试用

摘要：以前官方提供的ansible 的脚本，现在有了docker的版本，可以方便测试使用实际完整配置参考 https://github.com/rongfengliang/prisma-tidb 安装tidb clone 代码 git clone https://github.com/pingcap/t 阅读全文

posted @ 2018-08-21 20:24 荣锋亮阅读(625) 评论(0) 推荐(0)

streamsets Executors 说明

摘要：执行程序阶段在收到事件时触发任务。执行者不会写入或存储事件。将执行程序用作事件流中数据流触发器的一部分，以执行事件驱动的与管道相关的任务，例如在目标关闭时移动完全写入的文件。可以使用的executors Amazon S3 - Creates new Amazon S3 objects for 阅读全文

posted @ 2018-08-21 15:48 荣锋亮阅读(470) 评论(0) 推荐(0)

streamsets geoip 使用

摘要： geoip 分析对于网站数据分析是很方便的安装geoip2 下载地址 https://dev.maxmind.com/geoip/geoip2/geolite2/ 配置streamsets geoip 组件 pipeline flow dev raw data 配置 geoip 配置 json p 阅读全文

posted @ 2018-08-21 15:37 荣锋亮阅读(561) 评论(3) 推荐(0)

streamsets stream selector 使用

摘要： stream selector 就是一个选择器，可以方便的对于不同record 的数据进行区分，并执行不同的处理 pipeline flow stream selector 配置 local fs 配置主要是进行数据的存储运行效果 dev 数据效果参考资料 https://streamset 阅读全文

posted @ 2018-08-21 13:27 荣锋亮阅读(1774) 评论(0) 推荐(0)

streamsets mongodb destinations 使用

摘要：测试集成了directory（excel）以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset 阅读全文

posted @ 2018-08-21 12:44 荣锋亮阅读(1552) 评论(7) 推荐(0)

streamsets redis destinations 使用

摘要：测试集成了directory（excel）以及redis && field splitter 组件 pipeline flow docker-compose 配置 redis 服务&& streamsets version: "3" services: sets: image: streamset 阅读全文

posted @ 2018-08-21 10:28 荣锋亮阅读(1100) 评论(0) 推荐(0)

streamsets excel 数据处理

摘要： streamsets 有一个directory的origin 可以方便的进行文件的处理，支持的格式也比较多，使用简单 pipeline flow 配置 excel 数据copy 因为使用的是容器，会有数据copy 容器的一步因为使用的是容器，会有数据copy 容器的一步容器id 结合实际查询：阅读全文

posted @ 2018-08-21 09:24 荣锋亮阅读(1254) 评论(0) 推荐(0)

streamsets Processors 说明

摘要： Processors 表示对于一种数据操作处理，在pipeline中可以应用多个Processors，同时根据不同的执行模式，可以分为独立模式的，集群模式、边缘模式（agent），以及帮助测试的测试Processors 独立pipelineonly Record Deduplicator - R 阅读全文

posted @ 2018-08-21 09:22 荣锋亮阅读(940) 评论(0) 推荐(0)

streamsets record header 属性

摘要： record 的header 属性可以在pipeline 逻辑中使用。有写stages 会为了特殊目录创建reord header 属性，比如（cdc）需要进行crud 操作类型的区分你可以使用一些processor 去创建或者更新record 的header 属性信息一个简单的header处阅读全文

posted @ 2018-08-20 15:56 荣锋亮阅读(985) 评论(0) 推荐(0)

streamsets 错误记录处理

摘要：我们可以在stage 级别，或者piepline 级别进行error 处理配置 pipeline的错误记录处理 discard（丢踢） send response to Origin pipeline传递错误记录回microservice origin ，同时包含了错误的record 个数以及met 阅读全文

posted @ 2018-08-20 15:16 荣锋亮阅读(979) 评论(0) 推荐(0)

streamsets 丢踢无关数据

摘要：对于不需要的数据，streamsets 可以方便的设置丢踢，我们可以通过定义require 字段或者前置条件进行配置 require（必须字段）必须字段是必须存在一条record 中的，对于不存在的，系统根据配置的error 处理规则进行处理，require 字段可以在processor exe 阅读全文

posted @ 2018-08-20 14:59 荣锋亮阅读(401) 评论(0) 推荐(0)

streamsets 数据流设计

摘要： streamsets 支持branch（分支）&& merge（合并）模式的数据流 branch 数据流如下图：我们可以根据数据包含的字段进行拆分，不同的数据流处理自己关注的数据 merge 合并数据流如下图：可以将多个数据流，发送到同一个stage（阶段），但是不是进行数据的合并，数据的处阅读全文

posted @ 2018-08-20 14:45 荣锋亮阅读(1859) 评论(0) 推荐(0)

streamsets origin 说明

摘要： origin 是streamsets pipeline的soure 入口，只能应用一个origin 在pipeline中，对于运行在不同执行模式的pipeline 可以应用不同的origin 独立模式集群模式 edge模式（agent）开发模式（方便测试） standalone（独立模式）组件阅读全文

posted @ 2018-08-20 14:27 荣锋亮阅读(1748) 评论(0) 推荐(0)

streamsets http client && json parse && local fs 使用

摘要： streamsets 包含了丰富的组件，origin processer destination 测试例子为集成了http client 以及json 处理启动服务使用docker 创建pipeline 添加http client 组件配置http client http 服务地址： http 阅读全文

posted @ 2018-08-20 13:45 荣锋亮阅读(2187) 评论(0) 推荐(0)

streamsets 包管理

摘要： streamsets 自带一个包管理，可以方便的进行三方组件的添加，比如我们需要处理mongodb 数据，默认是没有添加这个组件的，操作如下：选择包管理选择组件安装点击安装提示界面安装完成，重启应用使用添加配置添加配置阅读全文

posted @ 2018-08-19 22:52 荣锋亮阅读(785) 评论(0) 推荐(0)

使用ksync 加速基于k8s 的应用开发

摘要： ksync 实际上实现了类似 docker docker run -v /foo:/bar 的功能，可以加速我们应用的开发&&运行安装 mac os curl https://vapor-ware.github.io/gimme-that/gimme.sh | bash 基本使用初始化 ksyn 阅读全文

posted @ 2018-08-19 22:25 荣锋亮阅读(470) 评论(0) 推荐(0)

streamsets microservice pipeline 试用

摘要：实际上还是一个pipeline，只是添加了一些规则以及内嵌的http server 方便我们对于基于http 或者类似轻量协议数据的处理基本环境使用docker&& docker-compose 进行环境搭建，具体参考项目：https://github.com/rongfengliang/st 阅读全文

posted @ 2018-08-19 10:00 荣锋亮阅读(897) 评论(0) 推荐(0)

kudu 虚拟机环境使用

摘要：安装 curl -s https://raw.githubusercontent.com/cloudera/kudu-examples/master/demo-vm-setup/bootstrap.sh | bash 备注：会比较慢，可以使用其他的下载工具，提前下载放到目录即可，同时默认会自动启动阅读全文

posted @ 2018-08-19 00:46 荣锋亮阅读(310) 评论(0) 推荐(0)

kudu yum 安装

摘要： yum 源 http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/cloudera-kudu.repo [cloudera-kudu] # Packages for Cloudera's Distribution for kudu, Versio 阅读全文

posted @ 2018-08-19 00:45 荣锋亮阅读(512) 评论(0) 推荐(0)

streamsets docker 安装试用

摘要： docker 安装 docker run --restart on-failure -p 18630:18630 -d --name streamsets-dc streamsets/datacollector 简单demo 登陆账户 admin admin 账户 admin admin 登陆完成阅读全文

posted @ 2018-08-19 00:37 荣锋亮阅读(1339) 评论(0) 推荐(0)

使用graphql-code-generator 生成graphql 代码

摘要：类似的工具比较多，比如prisma 、qloo、golang 的gqlgen、apollo-codegen graphql-code-generator 也是一个不错的工具（灵活、模版自定义。。。）安装 npm install --save-dev graphql-code-generator g 阅读全文

posted @ 2018-08-18 09:56 荣锋亮阅读(1793) 评论(0) 推荐(0)

harbor rest api 转graphql api

摘要：原理实际上就是使用graphql 中的binding，首先基于swagger api 进行schema 生成，后边就是使用binding 进行graphql 请求api 转换为rest api 请求，目前测试过两个开源的方案： prisma 的graphql-openapi-binding 以及阅读全文

posted @ 2018-08-17 21:17 荣锋亮阅读(705) 评论(0) 推荐(0)

ringojs java jar 集成使用

摘要： ringojs 可以方便进行java 代码的集成，我们可以把下载的jar包放到classpath，后者ringojs 的lib 目录也可以进行代码编写测试代码集成了java 的一个hashid 的jar 包 https://github.com/jiecao-fm/hashids-java , 阅读全文

posted @ 2018-08-17 14:00 荣锋亮阅读(559) 评论(0) 推荐(0)

ringojs 使用rp 包管理web 应用依赖

摘要： rp 是一个类似npm 的包管理工具，我们可以使用package.json 定义依赖然后执行rp install 即可，类似ringo-admin 的功能其中packages 类似node 的node_modules，安装后的包在packages 目录中参考代码项目结构 ├── Docker 阅读全文

posted @ 2018-08-17 12:26 荣锋亮阅读(276) 评论(0) 推荐(0)

ringojs 的包管理

摘要： ringojs 集成了包管理目前有几种方式 ringo-admin rp ringo-admin 安装包我们使用ringo-admin 安装rp ringo-admin install grob/rp 如果失败的话，可以使用： ringo-admin install http://packages 阅读全文

posted @ 2018-08-17 11:30 荣锋亮阅读(290) 评论(2) 推荐(0)

ringojs 基于jvm 的javascript 平台试用

摘要： ringojs 是一个基于jvm 的javascript 平台，支持commonjs 模块模式安装下载包配置环境变量，或者使用docker，测试使用docker dockerfile deb 包安装 deb 包安装 FROM java:8 MAINTAINER 1141591465@qq.com 阅读全文

posted @ 2018-08-16 11:30 荣锋亮阅读(927) 评论(0) 推荐(0)

graphql cli 开发graphql api flow

摘要：作用代码生成 schema 处理脚手架应用创建项目管理代码生成 schema 处理脚手架应用创建项目管理安装cli 初始化项目（使用.graphqlconfig管理）以下为demo demo 项目创建添加数据操作（一般名称为database）使用prisma cli 添加data 阅读全文

posted @ 2018-08-14 12:53 荣锋亮阅读(936) 评论(0) 推荐(0)

使用caddy 进行nodejs web应用近实时编译更新

摘要： caddy 相比nginx 是一个不错的轻量代理服务器，支持的功能也是比较多的，同时插件也挺多 demo 测试的是通过git 插件进行一个使用spec-md 编写的文档近实时编译以及预览项目使用docker 构建，我已经在dockerhub 放了构建好的镜像基本项目 website nodej 阅读全文

posted @ 2018-08-13 16:20 荣锋亮阅读(1246) 评论(0) 推荐(0)

graphql-binding openapi 集成demo

摘要：类似的将openapi 转换为graphql api 的也有 https://github.com/yarax/swagger-to-graphql 基本项目参考代码 https://github.com/rongfengliang/graphql-binding-openapi-docker 项阅读全文

posted @ 2018-08-13 11:18 荣锋亮阅读(265) 评论(0) 推荐(0)

获取 graphql schema 信息

摘要：模块 npm install -g get-graphql-schema get-graphql-schema GRAPHQL_URL > schema.graphql 简单使用使用prisma cli prisma init appdemo cd appdmeo docker-compose u 阅读全文

posted @ 2018-08-13 10:27 荣锋亮阅读(433) 评论(0) 推荐(0)

转 GraphQL Schema Stitching explained: Schema Delegation

摘要：转自官方文档 In the last article, we discussed the ins and outs of remote (executable) schemas. These remote schemas are the foundation for a set of tools a 阅读全文

posted @ 2018-08-13 09:13 荣锋亮阅读(535) 评论(0) 推荐(0)

转 How do GraphQL remote schemas work

摘要：文章转自 prisma 官方博客，写的很不错 In this article, we want to understand how we can use any existing GraphQL API and expose it through our own server. In that se 阅读全文

posted @ 2018-08-13 09:03 荣锋亮阅读(462) 评论(0) 推荐(0)

导航

公告