摘要：Flink任务自定义个性化配置logback.xml文件，每个任务都能够带上单独的信息比如开发者、任务名称等信息 阅读全文

摘要：在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE，kafka使用的版本为1.1.0，flink的版本为1.8.0，但是会很经常因为提交事务引起错误，甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。 查看kafka documentation和研究ProducerConfig这个类后发现 kafka producer 在使用EXACTLY_ONCE的时候需要增加一些配置 阅读全文

摘要：使用burrow监控Kafka Consumer Lag，通过telegraf将数据写入influxdb，接入grafana实现数据可视化，最终能够实现数据堆积告警。 阅读全文