摘要： 1、在这里我们重温下nifi里面一个重要的概念FlowFile，如下图所示： FlowFile：FlowFile代表NiFi中的单个数据。nifi数据流中流动的就是flowfile，每个nifi处理器处理的数据也是基于flowfile的。 FlowFile由两个组件组成：FlowFile属性(att 阅读全文

摘要： 1、今天我们一起来学习下处理器RouteOnAttribute，此处理器的作用是根据属性值进行路由进而来控制数据流的走向。类似于java中的if-else或者switch-case。如下图所示。 GenerateFlowFile 产生测试数据，{"name":"Javax 小金刚","id":"2" 阅读全文

摘要： 1、其实这一节课本来按照计划一起学习RouteOnAttribute处理器（相当于java中的ifelse，switch case 控制语句），但是在学习的过程中遇到了一些问题。RouteOnAttribute 需要依赖处理器EvaluateJsonPath，所以本节课我们一起来学习下Evaluat 阅读全文

摘要： 1、本节通过一个小例子来讲解下处理器PutDatabaseRecord，该处理器的作用是将数据写入数据库。 如下流程通过处理器GenerateFlowFile 生成数据，然后通过处理器JoltTransformJSON转换结构，最后通过处理器PutDatabaseRecord将数据写入数据库。如下图 阅读全文

摘要： 1、我们在学习nifi的过程中有接触到Avro schema，当时我在想kettle应该也支持Avro，果不其然kettle也是支持Avro文件的读和写的。今天我们一起来学习下kettle中如何使用Avro input 读步骤。对Avro 不了解的，可以学习文章ETL工具-nifi干货系列 第四讲 阅读全文

摘要： 第六讲教程只简单介绍了Jolt的chain转换模式，本节课介绍下Jolt的各种转换模式。 点击的处理器JoltTransformJSON高级配置选项，进行测试Jolt的转换模式。 1、Cardinality：更改了输入JSON数据元素的基数，适用于jsonObj和jsonList 之间的转换。 li 阅读全文

摘要： 1、处理器作用 使用Jolt转换JSON数据为其他结构的JSON,成功的路由到'success',失败的'failure'。处理JSON的实用程序不是基于流的，因此大型JSON文档转换可能会消耗大量内存。 Jolt：JSON 到 JSON 转换库，用 Java 编写，其中转换的 "规范" 或者描述文 阅读全文

摘要： 1、今天我们一起来学习处理器GenerateFlowFile。这个处理器创建带有随机数据或自定义内容的 FlowFiles。GenerateFlowFile 对于负载测试、配置和模拟非常有用。从工具栏拖动处理器到画布，然后选择GenerateFlowFile即可。 2、点击add按钮或者双击 Gen 阅读全文

摘要： 1、nifi 服务启动之后，浏览器输入https://localhost:8443/nifi ,匿名登录或者输入用户名密码进入操作页面，如下图所示： 2、组件工具栏 处理器,鼠标放到图标上提示Processor，里面里面有各种各样的组件，可以实现各种各样的功能。 拖拉处理器到画布中，出现处理器选择列 阅读全文

摘要： 1、nifi简介 Apache NiFi 是基于流程编程概念的数据流系统。它支持强大且可扩展的数据路由、转换和系统中介逻辑的有向图。NiFi具有基于Web的用户界面，用于设计、控制、反馈和监控数据流。它在多个服务质量维度上都具有高度可配置性，例如容忍丢失与保证传递、低延迟与高吞吐量、基于优先级的排队 阅读全文