摘要： 1、上一节课我们讲解了nifi处理器UpdateAttribute，专门用来更新flowFile的属性字段。本节课我们一起来学习UpdateRecord，该处理器用来更新flowFile的流文件内容数据，如下图所示 本节教程比较简单，涉及处理器流程如下 使用处理器GenerateFlowFile生成 阅读全文

摘要： 1、上一节课我们学习了avro input，本节课我们一起学习下avro out步骤。 本节课通过json input 加载json文件，通过avro out 生成avro二进制文件，写日志步骤打印日志。将json input、avro output、写日志三个步骤拖到画布，然后连线，如下图所示： 阅读全文

摘要： 1、在这里我们重温下nifi里面一个重要的概念FlowFile，如下图所示： FlowFile：FlowFile代表NiFi中的单个数据。nifi数据流中流动的就是flowfile，每个nifi处理器处理的数据也是基于flowfile的。 FlowFile由两个组件组成：FlowFile属性(att 阅读全文

摘要： 1、今天我们一起来学习下处理器RouteOnAttribute，此处理器的作用是根据属性值进行路由进而来控制数据流的走向。类似于java中的if-else或者switch-case。如下图所示。 GenerateFlowFile 产生测试数据，{"name":"Javax 小金刚","id":"2" 阅读全文

摘要： 1、其实这一节课本来按照计划一起学习RouteOnAttribute处理器（相当于java中的ifelse，switch case 控制语句），但是在学习的过程中遇到了一些问题。RouteOnAttribute 需要依赖处理器EvaluateJsonPath，所以本节课我们一起来学习下Evaluat 阅读全文

摘要： 1、本节通过一个小例子来讲解下处理器PutDatabaseRecord，该处理器的作用是将数据写入数据库。 如下流程通过处理器GenerateFlowFile 生成数据，然后通过处理器JoltTransformJSON转换结构，最后通过处理器PutDatabaseRecord将数据写入数据库。如下图 阅读全文

摘要： 1、我们在学习nifi的过程中有接触到Avro schema，当时我在想kettle应该也支持Avro，果不其然kettle也是支持Avro文件的读和写的。今天我们一起来学习下kettle中如何使用Avro input 读步骤。对Avro 不了解的，可以学习文章ETL工具-nifi干货系列 第四讲 阅读全文

摘要： 第六讲教程只简单介绍了Jolt的chain转换模式，本节课介绍下Jolt的各种转换模式。 点击的处理器JoltTransformJSON高级配置选项，进行测试Jolt的转换模式。 1、Cardinality：更改了输入JSON数据元素的基数，适用于jsonObj和jsonList 之间的转换。 li 阅读全文

摘要： 1、处理器作用 使用Jolt转换JSON数据为其他结构的JSON,成功的路由到'success',失败的'failure'。处理JSON的实用程序不是基于流的，因此大型JSON文档转换可能会消耗大量内存。 Jolt：JSON 到 JSON 转换库，用 Java 编写，其中转换的 "规范" 或者描述文 阅读全文

摘要： 1、今天我们一起来学习处理器GenerateFlowFile。这个处理器创建带有随机数据或自定义内容的 FlowFiles。GenerateFlowFile 对于负载测试、配置和模拟非常有用。从工具栏拖动处理器到画布，然后选择GenerateFlowFile即可。 2、点击add按钮或者双击 Gen 阅读全文