爱生活，爱工作。

摘要： Storm的官方网址：http://storm.apache.org/index.html 1：什么是Storm？ Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。被称作“实时的hadoop”。Storm有很多使用场景：如实时分析，在线机器学习，持续计算， 分布式RPC， 阅读全文

摘要： 1：由于HBase依赖hdfs，所以下载的时候注意HBase的版本： 注：我使用的是hadoop2.4版本的，所以HBase选择支持2版本的：hbase-0.96.2-hadoop2-bin.tar.gz 2：上传hbase安装包，上传到一台机器即可： 建议：自己规划一下自己的机器，最好是独立的，再 阅读全文

摘要： 1：HBase官网网址：http://hbase.apache.org/ 2：HBase表结构：建表时，不需要指定表中的字段，只需要指定若干个列族，插入数据时，列族中可以存储任意多个列（即KEY-VALUE，列名称-列值）;一个value可以有多个版本，通过版本号来区分（时间戳） 3：要查询某一个具 阅读全文

摘要： Hive官网（HQL）语法手册（英文版）：https://cwiki.apache.org/confluence/display/Hive/LanguageManual Hive的数据存储 1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFil 阅读全文

摘要： 1：要想学习Hive必须将Hadoop启动起来，因为Hive本身没有自己的数据管理功能，全是依赖外部系统，包括分析也是依赖MapReduce； 2：七个节点跑HA集群模式的： 第一步：必须先将Zookeeper启动起来（HA里面好多组件都依赖Zookeeper）： 切换目录，启动Zookeeper（ 阅读全文

摘要： Hive只在一个节点上安装即可： 1.上传tar包：这个上传就不贴图了，贴一下上传后的，看一下虚拟机吧： 2.解压操作： [root@slaver3 hadoop]# tar -zxvf hive-0.12.0.tar.gz 解压后贴一下图： 3：解压缩以后启动一下hive： 4：开始操作sql： 阅读全文

摘要： Hive是什么？其体系结构简介*Hive的安装与管理*HiveQL数据类型，表以及表的操作*HiveQL查询数据***Hive的Java客户端** Hive的自定义函数UDF* 1：什么是Hive（一）： （1）Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进 阅读全文

摘要： 1：按照上篇博客写的，将各个进程都启动起来： 集群规划： 主机名 IP 安装的软件 运行的进程 master 192.168.3.129 jdk、hadoop NameNode、DFSZKFailoverController(zkfc) slaver1 192.168.3.130 jdk、hadoo 阅读全文

摘要： 1）集群规划：主机名 IP 安装的软件 运行的进程master 192.168.199.130 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)slaver1 192.168.199.131 jdk、hadoop NameNode、DFSZKFail 阅读全文

摘要： 1：能否让两个NameNode都正常影响客户端请求？ 应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求，相应请求的必须为Active状态的那一台。 2：standBy状态的节点必须能够快速无缝的切换为active状态： 意味着两个NameNode必须时刻保持元数据的一致； 3 阅读全文

摘要： 1：Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 A、zookeeper是为别的分布式程序服务的 B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，Zookeeper就能正常服务） C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态 阅读全文

摘要： 1：首先将http://zookeeper.apache.org/ 下载好的zookeeper-3.4.5.tar.gz上传到三台虚拟机上，之前博客搭建好的（安装Zookeeper之前记得安装好你的jdk哦）。 2：然后对zookeeper-3.4.5.tar.gz进行解压缩操作： [hadoop@ 阅读全文

摘要： 1：Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 注意：HADOOP的核心组件有： 1）H 阅读全文

摘要： 1：首先搞好实体类对象： write 是把每个对象序列化到输出流，readFields是把输入流字节反序列化，实现WritableComparable，Java值对象的比较：一般需要重写toString(),hashCode(),equals()方法 2：流量分区处理操作的步骤： 2. 1：对流量原 阅读全文

摘要： 1：Struts2表单数据校验： （1）前台校验，也称之为客户端校验，主要是通过Javascript编程的方式进行数据的验证。 （2）后台校验，也称之为服务器校验，这里指的是使用Struts2通过xml配置的方式进行表单数据的校验。 （3）代码方式验证Action中所有的方法；代码方式验证Actio 阅读全文

摘要： 一：序列化概念 序列化（Serialization）是指把结构化对象转化为字节流。反序列化（Deserialization）是序列化的逆过程。即把字节流转回结构化对象。Java序列化（java.io.Serializable） 二：Hadoop序列化的特点 （1）：序列化格式特点： 紧凑：高效使用存 阅读全文

摘要： 1：MapReduce的概述： （1）：MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. （2）：MapReduce由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。 （3）： 阅读全文

摘要： 1：eclipse创建一个项目，然后导入对应的jar包： 鼠标右击项目，点击properties或者alt+enter快捷键 >java build path >libraries >add library >user library >next >user libraries >new >hdfs 阅读全文

摘要： 1：初学hadoop遇到各种错误，这里贴一下，方便以后脑补吧，报错如下： 主要是在window环境下面搞hadoop,而hadoop部署在linux操作系统上面；出现这个错误是权限的问题，操作hadoop是虚拟机的主机用户不是window的主机用户Administrator，所以出现下面的错误，解决 阅读全文

摘要： windows下开发hadoop应用程序，hadoop部署在linux环境中， 在运行调试时可能会出现无法找到主机，类似异常信息如下： java.net.UnknownHostException: unknown host: master 解决办法如下： 在C:\WINDOWS\system32\d 阅读全文