Storm 使用中的问题

1. maven 中 slf4j binding冲突,解决办法:

  在每一个dependency中添加:  

    <exclusions>
        <exclusion>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
        </exclusion>
        <exclusion>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
    </exclusions>

  并添加dependency:

    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>log4j-over-slf4j</artifactId>
        <version>1.7.7</version>
    </dependency>

2. supervisor 进程退出,报exception:cannot find stormConf.ser 文件:

  删除supervisor上,配置文件中storm.local.dir指定目录下的所有文件。

3. 一定要注意,在使用storm-kafka工具时,kafka创建的queue创建的topic要制定partition,像如下这样:

  >bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

  并可以查看topic的具体信息:

  >bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

  得到类似如下返回信息

  Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:

      Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0

 

  

posted on 2015-03-27 17:56  zonemayor  阅读(91)  评论(0)    收藏  举报

导航