10 2014 档案

Storm——Spout
摘要：Spout调用nextTuple的间隔为100ms 阅读全文
posted @ 2014-10-24 15:17 小鲲鲲 阅读(190) 评论(0) 推荐(0)
转：storm中一个Bolt发emit多次相同类型消息
摘要：在storm中的Bolt中可以处理完成逻辑后，向后面的Blot继续发送消息。可以发送多个不同的消息，如：collector.emit("update-delivered-status",new Values(emailDeliverStatus)); collector.emit("save-... 阅读全文
posted @ 2014-10-24 11:23 小鲲鲲 阅读(2679) 评论(0) 推荐(0)
storm入门——本地模式helloworld
摘要：创建maven项目，在pom.xml中加入以下配置： org.apache.storm storm-core jar 0.9.3-rc1 创建SimpleSpout类用于获取数据流： 1 p... 阅读全文
posted @ 2014-10-17 14:26 小鲲鲲 阅读(7699) 评论(0) 推荐(1)
maven笔记——Failed to execute goal org.apache.rat:apache-rat-plugin:0.7:check (verify.rat) on project flume-ng-c
摘要：解决办法： 在每个新建的类的第一行加入以下内容即可/* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE fi... 阅读全文
posted @ 2014-10-15 11:41 小鲲鲲 阅读(4706) 评论(0) 推荐(0)
kryo小试牛刀
摘要：kryo是用来序列化的第三方工具包(https://github.com/EsotericSoftware/kryo)，速度相当快，包含10000个对象的集合序列化只需要140多ms，不多说，简单示例如下：public static byte[] convertToByteArray(Object ... 阅读全文
posted @ 2014-10-15 09:18 小鲲鲲 阅读(285) 评论(0) 推荐(0)
Flume 关于Event的笔记
摘要：在Flume中使用Event对象来作为传递数据的格式。 Sources端在flume-ng-core子项目中的org.apache.flume.serialization包下，有一个名为LineDeserializer的类，这个类负责把数据按行来读取，每一行封装成一个Event（实现方式：按字... 阅读全文
posted @ 2014-10-11 10:41 小鲲鲲 阅读(3996) 评论(0) 推荐(0)
java操作无符号数
摘要：吐槽一下，java对byte的操作太恶心了！无符号数数组转换int类型的代码如下：public static int bytes4ToInt(Unsigned8[] ary) { int value = (((int)ary[3].get())<<24)+(((int)ary[2].get())<<... 阅读全文
posted @ 2014-10-10 16:32 小鲲鲲 阅读(449) 评论(0) 推荐(0)