摘要： 最近公司的zk的down掉了, storm job 重启的时候报出 kafka.common.OffsetOutOfRangeException 异常网上查询了一些朋友的做法, 自己也看了一下代码, 最终还是解决了 原因: zk挂掉的这几天, kafka中之前的数据已经被清掉了, 但是zk中保存的... 阅读全文

摘要： Storm 调优是非常重要的, 仅次于写出正确的代码, 好在Storm官网上有关于worker executors tasks的介绍,http://storm.incubator.apache.org/documentation/Understanding-the-parallelism-of-a-... 阅读全文

摘要： @BeforeClass---@AfterClass类实例化前, 被执行, 主要用于设置环境变量等, 与SpringTestContext结合用的时候要注意, 这种情况下@autowire的bean还未实例化@BeforeTest----@AfterTest整个测试类开始前, 被执行, 主要用户塞值... 阅读全文

摘要： Spring 3 supports${my.server.port:defaultValue}syntax.@Value("${zookeeper.enable:false}") private boolean isZkEnable;done! 阅读全文

摘要： 使用https://github.com/nathanmarz/storm-contrib来对接Kafka0.7.2时, 发现kafkaSpout总会进行数据重读, 配置都无问题, 也没报错进行debug之后, 发现是由于自己写的blot继承于IBolt, 但自己没有在代码中显示的调用collect... 阅读全文

摘要： 解决方案:1. 如果你的项目由多个模块且为分布式部署, 则可考虑使用设置System.property2. 一般只是极少数的代码出现此情况, 那么建议直接在你的单例Service初始化时, 在静态块中直接改变TypeUtils的变量值, 如果用Spring的话可以使用InitializingBean... 阅读全文

摘要： 目前中央库中 org.apache.kafka 是用jdk1.7编译的, 故跑在1.6的jvm中会报错解决方案:1. 下载kafka源码, 本地sbt进行install, 编译前 java -version确认classpath中的jdk版本是1.62. 编译打包成功后, 进入当前kafka目录的 ... 阅读全文

摘要： 近期打算实现一个基于Zookeeper的分布式的集群状态一致性控制, 对Zookeeper的原理不太了解, 正好学习一下, 网上找到了几篇文章, 先贴在这边, 等我熟读官方文档后, 再来补充自己的见解-----------------------------我是分割线----------------... 阅读全文

摘要： 官方链接:http://storm.incubator.apache.org/documentation/Guaranteeing-message-processing.htmlWhat does it mean for a message to be “fully processed”?A tup... 阅读全文

摘要： Strom 安装&部署本地执行:Storm Topology是可进行本地运行的, 必须在发布前进行本地测试, 以确保代码本身业务逻辑没有问题( Windows也可执行, 但是由于权限等原因, 执行时可能会报错, 但不影响执行结果).本地集群执行: Storm的本地集群搭建只能在UNIX架构的系统上执... 阅读全文