【原创】Kakfa common包源代码分析

初一看common包的代码吓了一跳,这么多scala文件!后面仔细一看大部分都是Kafka自定义的Exception类,简直可以改称为kafka.exceptions包了。由于那些异常类的名称通常都定义得很直观,笔者就不在一一赘述了。现在我们说说common包中其他的代码。

一、AppInfo.scala

这是一个object,实现了KafkaMetricsGroup trait。后者可以认为是一个创建各种度量元的工厂类。主要利用Yammer Metrics框架创建各种度量元,比如guage,meter,timer和histogram等。而在AppInfo object中只定义了一个方法:registerInfo

该方法没有返回值,它会首先判断是否已经注册过(isRegistered == true):如果已注册直接返回。之后判断这个类是否来自于jar包,如果不是的话也直接返回。最后程序创建一个Manifest对象并从中读取版本信息并使用该version信息创建一个guage。

 

二、ClientIdAndBroker.scala

发现kafka源代码中有很多类似于AAndB或AB这样的命名,基本上就是创建一个类,接收2个参数A和B的意思。这个scala文件也不例外,有两个case类:ClientIdAndBroker和ClientIdAllBrokers。基本上前者就是创建一个类保存一个clientId和一个broker;而后者给定一个clientId输出clientId-AllBrokers。

 

三、ClientIdTopic.scala

与ClientIdAndBroker.scala完全一样,只是这次保存的是(clientId, topic)的信息——元组对的方式非常有用,因为在后面Stats对象创建时会大量使用它们。

 

四、Config.scala

代码不复杂,就只是一个简单的trait,里面只有一个无返回值的方法: validateChars——目的也很简单就是验证给定的属性值里面有没有非法字符。目前只允许字母,数字,句点(.),下划线(_)以及横线(-)。其他字符都视为非法字符,一旦发现存储非法字符立即抛出异常。Producer和Consumer都有对应的config实现了这个Config trait。

 

五、ErrorMapping.scala

为common包中的每个异常做一个序号,并加入到一个Map中,同时提供很多方法可以双向检索——即根据序号返回异常实例或根据异常返回该异常序号

 

六、OffsetMetadataAndError.scala

该scala文件中提供了两组伴生对象:OffsetAndMetadata和OffsetMetadataAndError。我们先说第一组

OffsetAndMetadata object提供了三个常量字段:InvalidOffSet(-1)、NoMetadata("")以及InvalidTime(-1),主要用于出现错误时将OffsetAndMetadata字段的初始化。于是,同名的class构造器也接收三个参数: long型的位移信息、字符串表示的metadata信息以及一个时间戳。该class就提供了一个toString方法来格式化输出这个offset+metadata+timestamp的信息。

第二组OffsetMetadataAndError,从名字来说感觉就是offset+metadata+errorcode的风格。一看代码果不其然。OffsetMetadataAndError class的构造函数就是接收这三个参数。当然也提供了2个辅助构造函数只是用了很多的默认值,也没什么大不了的。asTuple方法就是将这三个字段打包成一个元组返回。toString就自不比说了。

定义了class之后,OffsetMetadataAndError object起到了工厂类的效果,实例化了4个类实例,分别是

NoOffset: 无效位移,无元数据(metadata),无错误异常

OffsetsLoading: 无效位移,无metadata,位移加载中异常

NotOffsetManagerForGroup: 无效位移,无metadata,consumer无对应coordinator异常

UnknownTopicOrPartition: 无效位移,无metadata,未知topic或分区ID不在有效范围内[0, numPartitions-1]

七、Topic.scala

刚看到Topic.scala时小小激动了一把。终于又看到与核心功能有点关联的代码了。本来预期Topic代码会很长,没想到并没有太多,只是简单地定义了一个object,几个字段加上一个方法就搞定了。名为Topic,其实更像是对Kafka topic的一个验证类。下面我们具体看一下。首先Topic的合法字符依然是字母、数字、句号,下划线和横线,另外topic最大长度不能超过255个字符。唯一的方法validate就是为给定的topic名做合法性检验。另外这个object中还维护了一个Set保存topic,后面在consumer的白名单、黑名单过滤时会用到。不过貌似这个集合只有一个topic:__consumer_offsets,而且整个kafka代码中也没有代码对其进行插入/删除操作,因此只是在内部使用的,正常的topic不应该加到这个Set中。

 

八、TopicAndPartition.scala

遵循以往的命名风格,这个类应该是同时保存一个topic和一个partition信息,并提供各种方式初始化该类实例,另外也提供了asTuple方法以元组的方式返回(topic, partition)

 

posted @ 2015-04-01 11:50  huxihx  阅读(670)  评论(0编辑  收藏  举报