kafka例子程序
摘要://生产端 产生数据 /** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed
阅读全文
kafka集群的搭建
摘要:1. Kafka下载:wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz解压 tar zxvf kafka_2.9.2-0.8.1.tgz(2.9.2为scala的版本 0.8.1为kafka地址)2.下载安装
阅读全文
kafka理论
摘要:一、消息队列,简称MQ,message queue 生产者:生存数据写到kafka,持久化到硬盘。对同一个Topic来讲,生产者通常只有‘一个’(可以多并发)数据保存时常可以配置,默认保存七天。 消费者:从kafka里消费数据。对同一个Topic来讲,消费者会很多,根据业务需要。 kafka的消息分
阅读全文
<init>与<clinit>的区别
摘要:在编译生成class文件时,会自动产生两个方法,一个是类的初始化方法<clinit>, 另一个是实例的初始化方法<init> <clinit>:在jvm第一次加载class文件时调用,包括静态变量初始化语句和静态块的执行 <init>:在实例创建出来的时候调用,包括调用new操作符;调用Class或
阅读全文
使用Maven编译运行Storm入门代码(Storm starter)(转)
摘要:Storm 官方提供了入门代码(Storm starter),即 Storm安装教程 中所运行的实例(storm-starter-topologies-0.9.6.jar),该入门代码位于 /usr/local/storm/examples/storm-starter/ 中,包含多个例子,对于学习
阅读全文
Hadoop学习笔记:MapReduce框架详解
摘要:原文出处: 夏天的森林 开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,
阅读全文
Hadoop生态系统概况(转)图文并茂说的不错
摘要:Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。 下图为hadoop的生态系统: 2、HDFS(Hadoop分布式文件系统) 源自于Google的GFS论文,发表于2003年
阅读全文
JobTracker与TaskTracker的关系
摘要:JobTracker 对应于 NameNode TaskTracker 对应于 DataNode DataNode 和NameNode 是针对数据存放来而言的 JobTracker和TaskTracker是对于MapReduce执行而言的 mapreduce中几个主要概念,mapreduce整体上可
阅读全文
Hadoop集群三种作业调度算法介绍
摘要:Hadoop集群中有三种作业调度算法,分别为FIFO,公平调度算法和计算能力调度算法先来先服务(FIFO)Hadoop中默认的调度器FIFO,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。FIFO比较简单,hadoop中只有一个作业队列,被提交的作业按照先后顺序在作业队列中排队,新
阅读全文
SecondaryNameNode 理解
摘要:NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件(edits)。当一个NameNode启动时,它首先从一个映像文件(fsimage)中读取HDFS的状态,接着应用日志文件中的edits操作。然后它将新的HDFS状态写入(fsimage)中,并使用一个空的 edits文件开始正
阅读全文
Twitter Storm中Topology的状态
摘要:Twitter Storm中Topology的状态 状态转换如下,Topology 的持久化状态包括: active, inactive, killed, rebalancing 四个状态。 代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。 Java代码 (d
阅读全文
storm的安装
摘要:一、 安装storm要先本机搭建好zookeeper集群(手动目录安装或者CDH安装) 二、 Java 6 Python 2.6.6 unzip(针对使用语言要安装好相应环境 比如java 要JDK和unzip) 三、安装两个strom依赖的消息队列包 ZeroMQ安装: wget http://d
阅读全文
切换默认jdk版本执行
摘要:Java代码 # cd /usr/bin # ln -s -f /usr/java/jdk1.6.0_24/jre/bin/java # ln -s -f /usr/java/jdk1.6.0_24/bin/javac 2. Remove the old empty java environment
阅读全文