kettle的二次开发中遇到的问题

Kettle介绍

是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定,采用LGPL授权协议的自由软件,开发出来的新软件可以是私有的而不需要是自由软件,即可以放心自由地使用。

Backpressure

其实是一种现象:在数据流从上游生产者向下游消费者传输的过程中,上游生产速度大于下游消费速度,导致下游的 Buffer 溢出,这种现象就叫做 Backpressure 出现。

 

在kettle的插件开发中,会遇到,某些步骤的处理时间过长,则会抛出异常。就是因为这种机制触发。

在debug时,断点也会触发该异常,因为底层是一个ArrayBlokingQueue,上游写入,下游消费,有定时器去判断消费速度。

 

posted @ 2022-01-26 17:15  然然1907  阅读(420)  评论(0)    收藏  举报