大数据开发问题记录

1、org.apache.kafka.common.kafkaException:Unexpected error from SyncGroup:The server experienced an unexpected error when processing the request

kafka集群IP未写全（可能的原因）

2、org.apache.kafka.clients.consumer.offsetOutofRangeException:Offsets out of range with no configured reset policy for partition:{xxx}

当我们的任务开始的时候，如果之前消费过某个topic，那么这个topic会在zk上设置offset,我们一般会去获取这个offset来继续从上次结束的地方继续消费，但是kafka定时清理日志的功能，比如定时一天一清理，那么如果你的offset是前天消费的offset，那么这个时候你再去消费，自然而然的你的offset肯定已经不在有效范围内，所以就报OffsetOutOfRangeException了

解决方法就是判断一下zk中的offset是否小于topic最小的offset，如果小于的话，就把最小的offset设置到zk中

3、