随笔分类 -  Storm

Flume+Kafka整合
摘要：脚本生产数据 >flume采集数据 >kafka消费数据 >storm集群处理数据 日志文件使用log4j生成，滚动生成！ 当前正在写入的文件在满足一定的数量阈值之后，需要重命名！！！ flume+Kafka整合步骤及相关配置：（先安装好zookeeper集群和Kafka集群） 配置flume： 1 阅读全文
posted @ 2017-06-19 15:07 ahu-lichang 阅读(1530) 评论(0) 推荐(0)
Kafka集群环境搭建
摘要：Kafka介绍 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS 1、Apache Kafka是一个开源消息系统，用Scala写成。 2、Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性， 阅读全文
posted @ 2017-05-25 23:00 ahu-lichang 阅读(636) 评论(0) 推荐(0)
Storm消息容错机制（ack-fail机制）
摘要：storm消息容错机制（ack-fail） 1、介绍 在storm中，可靠的信息处理机制是从spout开始的。 一个提供了可靠的处理机制的spout需要记录他发射出去的tuple，当下游bolt处理tuple或者子tuple失败时spout能够重新发射。 Storm通过调用Spout的nextTup 阅读全文
posted @ 2017-05-25 16:40 ahu-lichang 阅读(3280) 评论(0) 推荐(0)
Storm通信机制（了解）
摘要：Worker间的通信：经常需要通过网络跨节点进行，Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。 Worker进程内部通信：不同worker的thread通信使用LMAX Disruptor来完成。 不同topologey之间的通信：Storm不负责，需要自己 阅读全文
posted @ 2017-05-24 23:19 ahu-lichang 阅读(1284) 评论(0) 推荐(0)
Storm程序的并发机制（重点掌握）
摘要：概念 Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology Exec 阅读全文
posted @ 2017-05-24 16:15 ahu-lichang 阅读(375) 评论(0) 推荐(0)
Storm目录树和任务提交过程
摘要：Storm组件本地目录树 Storm zookeeper目录树 Storm任务提交的过程 阅读全文
posted @ 2017-05-24 13:00 ahu-lichang 阅读(785) 评论(0) 推荐(0)
Storm集群启动流程分析
摘要：Storm集群启动流程分析 程序员 1、客户端运行storm nimbus时，会调用storm的python脚本，该脚本中为每个命令编写了一个方法，每个方法都可以生成一条相应的Java命令。 命令格式：java -server xxx.ClassName -args nimbus >Running: 阅读全文
posted @ 2017-05-20 10:04 ahu-lichang 阅读(457) 评论(0) 推荐(0)
Storm常用操作命令及WordCount
摘要：Storm常用操作命令 1、任务提交命令：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】 storm jar /export/servers/storm/examples/storm-starter/storm-starter-topologies-1.0.3.jar or 阅读全文
posted @ 2017-05-18 10:04 ahu-lichang 阅读(6426) 评论(0) 推荐(0)
Storm1.0.3集群部署
摘要：Storm集群部署 所有集群部署的基本流程都差不多：下载安装包并上传、解压安装包并配置环境变量、修改配置文件、分发安装包、启动集群、查看集群是否部署成功。 1、所有的集群上都要配置hosts vi /etc/hosts 192.168.33.201 storm1 hadoop1 zk1 192.16 阅读全文
posted @ 2017-05-16 16:07 ahu-lichang 阅读(546) 评论(0) 推荐(0)
Storm介绍及核心组件和编程模型
摘要：离线计算 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、azkaban/oozie任务调度 流式计算 流式计算：数据实时产生、数据实时传输、数据实时计算、实时展示 代表 阅读全文
posted @ 2017-05-15 22:25 ahu-lichang 阅读(2573) 评论(0) 推荐(0)
JMS（Java消息服务）
摘要：JMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM：指的是利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。）的API， 用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。J 阅读全文
posted @ 2017-04-20 15:05 ahu-lichang 阅读(456) 评论(0) 推荐(0)