摘要：验证输入数据是每个批处理应用程序中必不可少的步骤。使用Easy Batch，可以通过注册一个或多个RecordValidator实现来验证记录，如下所示： Job job = new JobBuilder() .validator(new MyFirstRecordValidator()) .pro 阅读全文

摘要：Easy Batch通过RecordProcessor接口定义处理逻辑。在这里，可以实现对每条记录的处理方式。记录被提交到处理管道，其中每条记录从一个处理器传送到下一个处理器。记录类型可以从一个处理器更改为另一个。 可以在管道中定义任意数量的处理器： Job job = new JobBuilder 阅读全文

摘要：marshallers 可以将payload，转换为目标格式（xml，json，csv。。。） 内置的marshallers Record marshalling注意事项 默认情况下，DelimitedRecordMarshaller，FixedLengthRecordMarshaller，Open 阅读全文

摘要：mappers 可以实现输入的record 到领域对象的映射 api 模式 Job job = new JobBuilder() .mapper(new MyRecordMapper()) .build(); 提供的映射 自定义类型转换 一些recordMapper（DelimitedRecordM 阅读全文

摘要：基于RecordFilter我们可以过滤不需要的record 使用的场景 注释内容的过滤 日志文件的过滤 api 模式 Job job = new JobBuilder() .filter(new myRecordFilter()) .build(); 提供的filter 来自官方文档 参考资料 h 阅读全文

摘要：easy-batch writers 的作用是写入record 到sink 支持的数据sink 参考图 来自官方表格 注意事项和提示 在JdbcRecordWriter处理数据库事务。每批处理后将创建一个事务并提交/回滚。 在JpaRecordWriter预计一个Java对象作为输入，而不是一个Re 阅读全文

摘要：easy-batch 提供了一些已经实现好的reader，对于从数据源读取records ，我们只需要注册实现好的RecordReader 接口 (当然可以自己实现) readers 代码参考 Job job = new JobBuilder() .reader(new MyRecordReader 阅读全文

摘要：JobReport api easy-batch 包含了一个在batch 处理阶段的metrics 以及batch完成之后的报告 包含的信息 job启动以及结束的时间 job的状态 读取的record 写入的record 过滤的record 错误数 自定义metrics 通过JobMetrics的a 阅读全文

摘要：使用ScheduledExecutorService调度 因为job实现了java.util.concurrent.Callable 所以可以基于ScheduledExecutorService进行调度 参考代码 Job job = ..; ScheduledExecutorService sche 阅读全文

摘要：easy-batch 可以通过jmx 监控job 的运行状态（我们可以通过jmxexporter&&jmxtrans增强） 允许的jmx 指标 jmx mbean 名称为org.jeasy.batch.jmx.monitor:name=YourJobName 暴露的指标 job启动以及结束的时间 j 阅读全文

摘要：创建一个batch job 我们可以通过JobBuilder创建job 默认job 的名称为job 参考 Job job = new JobBuilder() .named("myJob") .build(); ​ // Or ​ Job job = JobBuilder.aNewJob() .na 阅读全文

摘要：job 领域api 参考图 说明 通用的处理流程为： 通过包含JobParameters 参数的JobBuilder创建job 通过JobExecutor 执行job 通过JobReport获取job运行的状态 record 以及batch api easy-batch 提供了一个通用的record 阅读全文

摘要：easy-rules 是一个简单，但是封装比较完备的java etl 框架，提供了比较完备的数据处理能力 是一个可以使用的数据处理框架,以下是一个简单的学习 项目说明 项目是官方的一个demo，主要是学习下easy-rules 的基本使用,主要是转换一个csv文件为xml 项目准备 项目结构 ├── 阅读全文

摘要：pipelinewise 提供了方便的创建简单pipeline的命令，可以简化pipeline 的创建，同时也可以帮我们学习 生成demo pipeline pipelinewise init --name pipelinewise_samples pipelinewise init --name 阅读全文

摘要：转自：https://www.stitchdata.com/blog/supercharging-etl-with-airflow-and-singer/ singer 团队关于singer 与airflow 集成的文章 Earlier this year we introduced Singer, 阅读全文

摘要：转自：https://www.stitchdata.com/blog/pipelinewise-singer/ 转自：https://www.stitchdata.com/blog/pipelinewise-singer/ Stitch is based on Singer, an open sou 阅读全文

摘要：pipelinewise 是基于开源singer 指南开发的数据pipeline工具，与singer tap 以及target 兼容 支持的特性 内置的elt 特性 轻量级 支持多种复制方法，cdc（基于log 的）基于key 的增量模式，全量 管理schema的变动 加载时的数据转换（可以方便进行 阅读全文

摘要：以下是链接来自singer 团队的实践，很不错，值得学习 参考连接 https://www.stitchdata.com/blog/100-billion-records-later-refining-our-etl-service/ https://stackshare.io/stitch/how 阅读全文

摘要：使用tap-minio-csv 我们可以将s3 中csv 的文件，通过singer 的target 写到不用的系统中，可以兼容 s3 的存储类型,以下是一个集成minio 的测试，将minio 中的csv 数据导入到pg中 环境准备 docker-compose 文件 version: "3" se 阅读全文

摘要：singer 团队官方处了一个tap-s3-csv 的tap，对于没有使用aws 的人来说并不是很方便了，所以简单修改了 下源码，可以支持通用的s3 csv 文件的处理，同时发布到了官方pip 仓库中，方便大家使用。 以下是简单代码修改部分的说明，以及如何发布pip包 修改说明 主要是关于连接s3 阅读全文