NIFI PutKudu配置教程(1.8)

描述:    

    该处理器使用提供的recordReader从传入的流文件中读取数据 ,并将这些数据写入指定的Kudu表。如果在从输入中读取记录或将记录写入Kudu时发生任何错误,流文件将被路由到失败

属性配置:

    在下面的列表中,必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的,并且指出属性默认值(如果有默认值),以及属性是否支持表达式语言。

属性名称
默认值
可选值
描述
Kudu Masters     逗号分隔的kudu master节点IP:prot 列表 (e.g. 7051)
支持表达式语言:true(只使用变量注册表进行计算)
Table Name     kudu 表
支持表达式语言:true(只使用变量注册表进行计算)
Skip head line false
  • true
  • false
属性已弃用。
Record Reader  

Controller Service API: 
RecordReaderFactory
Implementations:

SyslogReader
GrokReader
JsonTreeReader
CSVReader
AvroReader
ScriptedReader
JsonPathReader
Syslog5424Reader
XMLReader

从传入流文件中读取记录的服务。
Insert Operation INSERT
  • INSERT
  • INSERT_IGNORE
  • UPSERT
指定此处理器的操作类型。INSERT_IGNORE将忽略重复的行
Flush Mode AUTO_FLUSH_BACKGROUND
  • AUTO_FLUSH_SYNC
  • AUTO_FLUSH_BACKGROUND
  • MANUAL_FLUSH
为kudu会话设置新的刷新模式。AUTO_FLUSH_SYNC:当操作被持久化时,调用返回,否则将抛出异常。AUTO_FLUSH_BACKGROUND:当操作被添加到缓冲区时,调用返回。这个调用通常只在内存中执行快速的操作,但当缓冲区已满且有另一个缓冲区被刷新时,它可能不得不等待。MANUAL_FLUSH:当操作被添加到缓冲区时,调用返回,否则在缓冲区已满时抛出KuduException。
Batch Size 100   一次执行中要处理的流文件的最大数量,在1 - 100000之间。根据内存大小和每行数据大小设置适当的批大小。逐渐增加这个数字,找出最好的一个为最佳表现。
支持表达式语言:true(只使用变量注册表进行计算)


连接关系:

success 一个流文件被成功地存储在Kudu之后,将被路由到这个关系
failure 如果流文件不能发送到Kudu,则将其路由到此关系

读取属性:

    没有指定。

写属性:

名称
描述
record.count 写入kudu的数据条数

状态管理:

    此组件不存储状态。

限制:

    此组件不受限制。

输入要求:

    此组件不允许传入连接关系。

系统资源方面的考虑:

    没有指定。

应用场景:

    该处理器用于直接向kudu写入数据。

示例说明:

    1:该处理器向kudu写入json数据  

配置如下:

 

 

来源数据如下 :

 

目标kudu表 如下:

 

kudu数据如下(使用kudu client所查):

 

posted @ 2019-04-17 09:23  酷酷的诚  阅读(807)  评论(0)    收藏  举报