Kafka如何加载日志段
kafka日志作为日志段的容器，重点分析kafka日志是如何加载日志段。
Log源码结构
Log源码位于kakfa core工程的log包下，对应的文件名为Log.scala。文件中中包含了与log有关的10个class或者object，见下图所示。
模块概述
LogAppendInfo(class)
保存了一组待写入消息的各种元数据信息，包含位移值或者最大消息的时间戳等，后续会进行详细介绍
LogAppendInfo(object)
我们可以理解为定义了一些工厂方法，用来创建LogAppendInfo对象
Log(class)
Log源码中最最核心的代码
Log(object)
Log伴生类的工厂方法，里面有很多的辅助方法
RollParams(C)
定义了日志段是否需要切分的数据结构
RollParams(object)
RollParams的伴生类
LogMetricNames
定义了Log对象的监控指标
LogOffsetSnapshot
封装分区所有位移元数据的容器类
LogReadInfo
封装读取日志返回的数据和元数据
CompletedTxn
记录已完成事务的元数据，用来构建事务索引
Log Class&Log Object
下面我会一一介绍他们，我们都知道Scala的派生类一般存储的是静态变量或者静态工厂方法等，考虑到派生类的阅读比较容易，我们先分析下Log Object相关信息。我们先看下里面都定义了那些常量，见下图所示
object Log {
/** a log file */
val LogFileSuffix = ".log"
/** an index file */
val IndexFileSuffix = ".index"
/** a time index file */
val TimeIndexFileSuffix = ".timeindex"
val ProducerSnapshotFileSuffix = ".snapshot"
/** an (aborted) txn index */
val TxnIndexFileSuffix = ".txnindex"
/** a file that is scheduled to be deleted */
val DeletedFileSuffix = ".deleted"
/** A temporary file that is being used for log cleaning */
val CleanedFileSuffix = ".cleaned"
/** A temporary file used when swapping files into the log */
val SwapFileSuffix = ".swap"
/** Clean shutdown file that indicates the broker was cleanly shutdown in 0.8 and higher.
* This is used to avoid unnecessary recovery after a clean shutdown. In theory this could be
* avoided by passing in the recovery point, however finding the correct position to do this
* requires accessing the offset index which may not be safe in an unclean shutdown.
* For more information see the discussion in PR#2104
*/
val CleanShutdownFile = ".kafka_cleanshutdown"
/** a directory that is scheduled to be deleted */
val DeleteDirSuffix = "-delete"
/** a directory that is used for future partition */
val FutureDirSuffix = "-future"
}
我们发现这些常量 中包含了很多种的文件类型，除了大家熟知的index、timeindex、txnindex、log等，还有不认识的其他文件类型，我们对这些不认识的进行汇总说明。
snapshot:是kafka对幂等型或者事务型producer所生成的快照文件。事务型幂等先不做介绍。
deleted:删除日志段操作时所创建的文件，目前删除日志段文件的操作是异步的，
cleaned和swarp是compaction操作的产物，后续会进行解释
delete 是应用于文件夹的，当我们删除一个主题的时候，主题的分区文件夹会被加上这个后缀
当然Log object中还定义了很多的工具类方法，比如下图，基于偏移量计算出日志段的文件名，kafak日志段的固定长度是20位。
/**
* Make log segment file name from offset bytes. All this does is pad out the offset number with zeros
* so that ls sorts the files numerically.
*
* @param offset The offset to use in the file name
* @return The filename
*/
def filenamePrefixFromOffset(offset: Long): String = {
val nf = NumberFormat.getInstance()
nf.setMinimumIntegerDigits(20)
nf.setMaximumFractionDigits(0)
nf.setGroupingUsed(false)
nf.format(offset)
}
Log class 详细介绍
Log源码中最重要的就是这个Log class了，代码量还是比较大的，我们先从这个类定义的入参开始讲起，见下图所示。
class Log(@volatile private var _dir: File,
@volatile var config: LogConfig,
@volatile var logStartOffset: Long,
@volatile var recoveryPoint: Long,
scheduler: Scheduler,
brokerTopicStats: BrokerTopicStats,
val time: Time,
val maxProducerIdExpirationMs: Int,
val producerIdExpirationCheckIntervalMs: Int,
val topicPartition: TopicPartition,
val producerStateManager: ProducerStateManager,
logDirFailureChannel: LogDirFailureChannel) extends Logging with KafkaMetricsGroup {
.......
}
我们发现这里面的字段比较多，重点关注以下两个字段，分别是dir和logStartOffset。
dir是主题分区的路径
logStartOffset是日志的最早的位移
此外我们还需要关注一下几个属性
nextOffsetmetadata:封装了下一条待插入消息的位移值
highWatermarkMetadata:用来区分日志的高水位值，即已提交事务和未提交事务的分界
segment:保存了分区日志下所有的日志段信息，Map结构，key是日志段的起始位移，value是日志段本身对象
大概了解了上文之后，我们一起看看Log类是如何初始化的。
