Edison Zhou

摘要： 现实生活中的事情往往都能总结归纳成一定的数据结构，例如餐馆中餐盘的堆叠和使用，羽毛球筒里装的羽毛球等都是典型的栈结构。而在.NET中，值类型在线程栈上进行分配，引用类型在托管堆上进行分配，本文所说的“栈”正是这种数据结构。栈和队列都是常用的数据结构，它们的逻辑结构与线性表相通，不同之处则在于操作受某种特殊限制。因此，栈和队列也被称为操作受限的线性表。这里，我们首先来了解一下栈。 阅读全文

摘要： 在上一篇中，我们了解了单链表与双链表，本次将单链表中终端结点的指针端由空指针改为指向头结点，就使整个单链表形成一个环，这种头尾相接的单链表称为单循环链表，简称循环链表（circular linked list）。循环链表和单链表的主要差异就在于循环的判断条件上，原来是判断p.next是否为空，现在则是p.next不等于头结点，则循环未结束。本文还会使用循环链表以及.NET中内置的LinkedList解决约瑟夫问题。 阅读全文

摘要： 在上一篇中，我们学习了线性表最基础的表现形式-顺序表，但是其存在一定缺点：必须占用一整块事先分配好的存储空间，在插入和删除操作上需要移动大量元素（即操作不方便），于是不受固定存储空间限制并且可以进行比较快捷地插入和删除操作的链表横空出世，所以我们就来复习一下链表。 阅读全文

摘要： 线性表是最简单也是在编程当中使用最多的一种数据结构。例如，英文字母表（A,B,C,D...,Z）就是一个线性表，表中的每一个英文字母都是一个数据元素；又如，成绩单也是一个线性表，表中的每一行是一个数据元素，每个数据元素又由学号、姓名、成绩等数据项组成。顺序表和链表作为线性表的两种重要的存在形式，它们是堆栈、队列、树、图等数据结构的实现基础。线性表中的元素在位置上是有序的，类似于储户去银行排队取钱，人们依次排着队，排在前面的先取，排在后面的则后取。这种位置上的有序性就是一种线性关系。由此可以看出：线性表的前后两个元素存在一一对应关系。 阅读全文

摘要： Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更： （1）HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别是:HDFS Federation与HA； （2）MapReduce将JobTracker中的资源管理及任务生命周期管理（包括定时触发及监控），拆分成两个独立的组件，并更名为YARN（Yet Another Resource Negotiator）； 阅读全文

摘要： 为了能够借助Hive进行统计分析，首先我们需要将清洗后的数据存入Hive中，那么我们需要先建立一张表。这里我们选择分区表，以日期作为分区的指标，建表语句如下：（这里关键之处就在于确定映射的HDFS位置，我这里是/project/techbbs/cleaned即清洗后的数据存放的位置）。建立了分区表之后，就需要增加一个分区，增加分区的语句如下：（这里主要针对20150425这一天的日志进行分区）。 阅读全文

摘要： （1）根据前一篇的关键指标的分析，我们所要统计分析的均不涉及到访问状态（HTTP状态码）以及本次访问的流量，于是我们首先可以将这两项记录清理掉；（2）根据日志记录的数据格式，我们需要将日期格式转换为平常所见的普通格式如20150426这种，于是我们可以写一个类将日志记录的日期进行转换；（3）由于静态资源的访问请求对我们的数据分析没有意义，于是我们可以将"GET /staticsource/"开头的访问记录过滤掉，又因为GET和POST字符串对我们也没有意义，因此也可以将其省略掉； 阅读全文

摘要： 本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖。本次实践的目的就在于通过对该技术论坛的apache common日志进行分析，计算该论坛的一些关键指标，供运营者进行决策时参考。开发该系统的目的是为了获取一些业务相关的指标，这些指标在第三方工具中无法获得的； 阅读全文

摘要： Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统，日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称，泛指文件、操作记录等许多数据。Flume的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据。 阅读全文

摘要： 一、为何要学习Hadoop? 这是一个信息爆炸的时代。经过数十年的积累，很多企业都聚集了大量的数据。这些数据也是企业的核心财富之一，怎样从累积的数据里寻找价值，变废为宝炼数成金成为当务之急。但数据增长的速度往往比cpu和内存性能增长的速度还要快得多。要处理海量数据，如果求助于昂贵的专用主机甚至超级计 阅读全文

摘要： Hadoop正成为企业用于大数据分析的最热门选择，但想将你的数据移植过去并不容易。Apache Sqoop正在加紧帮助客户将重要数据从数据库移到Hadoop。随着Hadoop和关系型数据库之间的数据移动渐渐变成一个标准的流程，云管理员们能够利用Sqoop的并行批量数据加载能力来简化这一流程，降低编写自定义数据加载脚本的需求。Apache Sqoop（SQL-to-Hadoop） 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)中；同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。因此，可以说Sqoop就是一个 阅读全文

摘要： Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。Hive 是 SQL解析引擎，它将SQL语句转译成Map/Reduce Job然后在Hadoop执行。Hive的表其实就是HDFS的目录，按表名把文件夹分开。如果是分区表，则分区值是子文件夹，可以直接在Map/Reduce Job里使用这 阅读全文

摘要： Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。相比Java的MapReduce API，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作，包括在MapReduce中被忽视的连接Join操作。 阅读全文

摘要： 伪分布模式安装即在一台计算机上部署HBase的各个角色，HMaster、HRegionServer以及ZooKeeper都在一台计算机上来模拟。首先，准备好HBase的安装包，我这里使用的是HBase-0.94.7的版本，已经上传至百度网盘之中（URL：http://pan.baidu.com/s/1pJ3HTY7）。（1）通过FTP将hbase的安装包拷贝到虚拟机hadoop-master中，并执行一系列操作：解压缩、重命名、设置环境变量①解压缩：tar -zvxf hbase-0.94.7-security.tar.gz②重命名：mv hbase-94.7-security hbase③设置环境变量：vim /etc/profile，增加内容如下，修改后重新生效：source /etc/profi 阅读全文

摘要： HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型，它存储的是松散型数据。Google这个神奇的公司以其不保守的态度以学术论文的方式公开了其云计算的三大法宝：GFS、MapReduce和BigTable，其中对于BigTable的开源实现HBase则是由Doug Cutting完成的。HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上 阅读全文

摘要： 从字面上来看，ZooKeeper表示动物园管理员，这是一个十分奇妙的名字，我们又想起了Hadoop生态系统中，许多项目的Logo都采用了动物，比如Hadoop采用了大象的形象，所以我们可以猜测ZooKeeper就是对这些动物进行一些管理工作的。zookeeper是hadoop下面的一个子项目，用来协调跟hadoop相关的一些分布式的框架，如hadoop, hive, pig等, 其实他们都是动物，所以叫zookeeper ——“动物园管理员”。 阅读全文

摘要： 在本笔记系列的第一篇中，我们介绍了如何搭建伪分布与分布模式的Hadoop集群。现在，我们来了解一下在一个Hadoop分布式集群中，如何动态（不关机且正在运行的情况下）地添加一个Hadoop节点与下架一个Hadoop节点。本次试验，我们构建的集群是一个主节点，三个从节点的结构，其中三个从节点的性能配置各不相同，这里我们主要在虚拟机中的内存设置这三个从节点分别为：512MB、512MB与256MB。首先，我们暂时只设置两个从节点，另外一个作为动态添加节点的时候使用。 阅读全文

摘要： （1）经典之王：单词计数-这个是MapReduce的经典案例，经典的不能再经典了！（2）数据去重-"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。（3）排序：按某个Key进行升序或降序排列 阅读全文

摘要： 首先，我们回顾一下在MapReduce中，排序和分组在哪里被执行;从上图中可以清楚地看出，在Step1.4也就是第四步中，需要对不同分区中的数据进行排序和分组，默认情况下，是按照key进行排序和分组。在一些特定的数据文件中，不一定都是类似于WordCount单次统计这种规范的数据，比如下面这类数据，它虽然只有两列，但是却有一定的实践意义。 阅读全文

摘要： 在第四篇博文《初识MapReduce》中，我们认识了MapReduce的八大步凑，其中在Reduce阶段总共三个步凑。其中，Step2.1就是一个Shuffle操作，它针对多个map任务的输出按照不同的分区（Partition）通过网络复制到不同的reduce任务节点上，这个过程就称作为Shuffle。Hadoop的shuffle过程就是从map端输出到reduce端输入之间的过程，这一段应该是Hadoop中最核心的部分，因为涉及到Hadoop中最珍贵的网络资源，所以shuffle过程中会有很多可以调节的参数，也有很多策略可以研究，这方面可以看看大神董西成的相关文章或他写的MapReduce相关书籍。 阅读全文