dolphinscheduler任务报错,日志显示dataX说脏数据过多了?

	经DataX智能分析,该任务最可能的错误原因是:
	com.alibaba.datax.common.exception.DataXException: Code:[Framework-14], Description:[DataX传输脏数据超过用户预期,该错误通常是由于源端数据存在较多业务脏数据导致,请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .].  - 脏数据条数检查不通过,限制是[0]条,但实际上捕获了[5]条.
		at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
		at com.alibaba.datax.core.util.ErrorRecordChecker.checkRecordLimit(ErrorRecordChecker.java:58)
		at com.alibaba.datax.core.job.scheduler.AbstractScheduler.schedule(AbstractScheduler.java:89)
		at com.alibaba.datax.core.job.JobContainer.schedule(JobContainer.java:535)
		at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:119)
		at com.alibaba.datax.core.Engine.start(Engine.java:92)
		at com.alibaba.datax.core.Engine.entry(Engine.java:171)
		at com.alibaba.datax.core.Engine.main(Engine.java:204)

 

 查看了dataX Job路径下的json任务,发现确实是设置了阈值,将此处修改一下应该就没太大问题了

 

posted on 2024-03-27 14:15  ifiwereaboy  阅读(29)  评论(0编辑  收藏  举报