摘要: 在Storm Trident中有五种操作类型 Apply Locally:本地操作,所有操作应用在本地节点数据上,不会产生网络传输 Repartitioning:数据流重定向,单纯的改变数据流向,不会改变数据内容,这部分会有网络传输 Aggragation:聚合操作,会有网络传输 Grouped s 阅读全文
posted @ 2017-12-21 17:00 木易森林 阅读(323) 评论(0) 推荐(0) 编辑
摘要: Trident中有对状态数据进行读取和写入操作的一流抽象工具。状态既可以保存在拓扑内部,比如保存在内容中并由HDFS存储,也可以通过外部存储(比如Memcached或Cassandra)存储在数据库中。而对于Trident的API而言,这两种机制没有任何区别。 Trident以容错的方式来管理状态, 阅读全文
posted @ 2017-12-21 16:17 木易森林 阅读(1178) 评论(1) 推荐(0) 编辑
摘要: Trident是基于Storm进行实时留处理的高级抽象,提供了对实时流4的聚集,投影,过滤等操作,从而大大减少了开发Storm程序的工作量。Trident还提供了针对数据库或则其他持久化存储的有状态的,增量的更新操作的原语。 若我们要开发一个对文本中的词频进行统计的程序,使用Storm框架的话我们需 阅读全文
posted @ 2017-12-21 14:32 木易森林 阅读(9554) 评论(0) 推荐(0) 编辑
摘要: 在Storm集群中,运行Topolopy的实体有三个:工作进程,executor(线程),task(任务),下图可以形象的说明他们之间的关系。 工作进程 Storm集群中的一台机器会为一个或则多个Topolopy运行一个或则多个工作进程。每个工作进程执行Topology的一个子集,一个工作进程属于一 阅读全文
posted @ 2017-12-20 14:38 木易森林 阅读(597) 评论(0) 推荐(0) 编辑
摘要: StormUI由Cluster Summary,topology summary,supervisor summary,Nimbus Configuration四部分组成,如下图所示: Cluster Summary介绍了整个集群的信息,其中列出了Solt的总数以及使用情况,通过空闲的Solt我们可 阅读全文
posted @ 2017-12-19 20:20 木易森林 阅读(5475) 评论(0) 推荐(0) 编辑
摘要: 报错信息: java.lang.RuntimeException: java.lang.RuntimeException: java.lang.RuntimeException: org.apache.zookeeper.KeeperException$ConnectionLossException 阅读全文
posted @ 2017-12-19 17:20 木易森林 阅读(1118) 评论(0) 推荐(1) 编辑
摘要: storm的配置文件在${STORM_HOME}/conf/storm.yaml。下面详细说明storm的配置信息。 java.libary.path:storm本身依赖包的路径,有多个路径的时候使用冒号隔开 storm.local.dir:storm使用的本地文件系统的目录,storm进程必须对该 阅读全文
posted @ 2017-12-19 14:57 木易森林 阅读(1152) 评论(0) 推荐(0) 编辑
摘要: lucence 是一个高性能的java全文检索工具包,他使用倒排序文件索引结构,改结构和相应的生成算法如下: 一、设有两篇文章1和2 文章1的内容为:Tom lives in guangzhou,i live in guangzhou too 文章2的内容为:He once lived in sha 阅读全文
posted @ 2017-12-19 10:22 木易森林 阅读(1355) 评论(0) 推荐(0) 编辑
摘要: 在JVM运行空间中,对象的整个生命周期大致可以分为七个阶段:创建阶段(Creation)、应用阶段(Using)、不可视阶段(Invisible)、不可到达阶段( Unreachable)、可收集阶段(Collected)、终结阶段(Finalized)、释放阶段(Free)。经过上述的七个阶段,构 阅读全文
posted @ 2017-12-19 10:21 木易森林 阅读(1019) 评论(0) 推荐(0) 编辑
摘要: 基础类型数据的大小是固定的,对于非基本类型的java对象,其大小就值得商榷了。 在java中一个空Object对象的大小是8byte,这个大小只是保存堆中没有任何属性的对象的大小,看下面的语句: Object obj = new Object(); 这样在程序中完成了一个Java对象的生命,但是它所 阅读全文
posted @ 2017-12-19 10:19 木易森林 阅读(1283) 评论(0) 推荐(0) 编辑