NIFI PutKudu配置教程(1.8)
描述:
该处理器使用提供的recordReader从传入的流文件中读取数据 ,并将这些数据写入指定的Kudu表。如果在从输入中读取记录或将记录写入Kudu时发生任何错误,流文件将被路由到失败
属性配置:
在下面的列表中,必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的,并且指出属性默认值(如果有默认值),以及属性是否支持表达式语言。
|
属性名称
|
默认值
|
可选值
|
描述
|
|---|---|---|---|
| Kudu Masters | 逗号分隔的kudu master节点IP:prot 列表 (e.g. 7051) 支持表达式语言:true(只使用变量注册表进行计算) |
||
| Table Name | kudu 表 支持表达式语言:true(只使用变量注册表进行计算) |
||
| Skip head line | false |
|
属性已弃用。 |
| Record Reader |
Controller Service API: SyslogReader |
从传入流文件中读取记录的服务。 | |
| Insert Operation | INSERT |
|
指定此处理器的操作类型。INSERT_IGNORE将忽略重复的行 |
| Flush Mode | AUTO_FLUSH_BACKGROUND |
|
为kudu会话设置新的刷新模式。AUTO_FLUSH_SYNC:当操作被持久化时,调用返回,否则将抛出异常。AUTO_FLUSH_BACKGROUND:当操作被添加到缓冲区时,调用返回。这个调用通常只在内存中执行快速的操作,但当缓冲区已满且有另一个缓冲区被刷新时,它可能不得不等待。MANUAL_FLUSH:当操作被添加到缓冲区时,调用返回,否则在缓冲区已满时抛出KuduException。 |
| Batch Size | 100 | 一次执行中要处理的流文件的最大数量,在1 - 100000之间。根据内存大小和每行数据大小设置适当的批大小。逐渐增加这个数字,找出最好的一个为最佳表现。 支持表达式语言:true(只使用变量注册表进行计算) |
连接关系:
| success | 一个流文件被成功地存储在Kudu之后,将被路由到这个关系 |
| failure | 如果流文件不能发送到Kudu,则将其路由到此关系 |
读取属性:
没有指定。
写属性:
|
名称
|
描述
|
|---|---|
| record.count | 写入kudu的数据条数 |
状态管理:
此组件不存储状态。
限制:
此组件不受限制。
输入要求:
此组件不允许传入连接关系。
系统资源方面的考虑:
没有指定。
应用场景:
该处理器用于直接向kudu写入数据。
示例说明:
1:该处理器向kudu写入json数据
配置如下:

来源数据如下 :

目标kudu表 如下:

kudu数据如下(使用kudu client所查):


浙公网安备 33010602011771号