kafka消息日志撑爆，定时删除

kafka日志管理器允许定制删除策略。目前的策略是删除修改时间在N天之前的日志（按时间删除），也可以使用另外一个策略：保留最后的N GB数据的策略(按大小删除)。为了避免在删除时阻塞读操作，采用了copy-on-write形式的实现，删除操作进行时，读取操作的二分查找功能实际是在一个静态的快照副本上进行的，这类似于Java的CopyOnWriteArrayList。

kafka消费日志删除思想：

• Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用

实际操作：

按照这个配置文件，只保存一小时的日志和日志大小不超过1M，当有一个条件满足 就触发删除日志的操作。log.segment.byte=10240表明每个日志文件大小不超过10K