07 2016 档案
摘要:搭建完redis集群后,可以通过jedis的JedisCluster来访问Redis集群,这里列出使用jedisCluster的spring bean配置方式: ...
阅读全文
摘要:对象池技术在服务器开发上应用广泛。在各种对象池的实现中,尤其以数据库的连接池最为明显,可以说是每个服务器必须实现的部分。 apache common pool 官方文档可以参考:https://commons.apache.org/proper/commons-pool/。 结合JedisP...
阅读全文
摘要:在hadoop中,存在对应的counter计数器用于记录hadoop map/reduce job任务执行过程中自定义的一些计数器,其中hadoop任务中已经内置了一些计数器,例如CPU时间,GC时间等。 Storm中也存在类似counter的功能,metrics,详细介绍可以参考下面的文档...
阅读全文
摘要:原有的事务支持使用MemcachedState来进行,现在需要将其迁移至Redis,并且需要记录所有key值列表,因为在redis中虽然可以使用keys *操作,但不是被推荐的方式,所以把所有结果存在Redis中的一个HASH格式字段中。 关于Redis与Storm集成的相关文档,可以参考...
阅读全文
摘要:原本打算将storm直接与flume直连,发现相应组件支持比较弱,topology任务对应的supervisor也不一定在哪个节点上,只能采用统一的分布式消息服务Kafka。 原本打算将结构设置为: 最后结构更改为: 集成Kafka storm中已经写好了KafkaSpout用来接收K...
阅读全文

浙公网安备 33010602011771号