shayzhang

摘要： zookeeper客户端的使用 (1) 首先找到zookeeper自带客户端的位置 简单来说，zookeeper自带客户端位于zookeeper安装目录的bin目录下，以我的为例： (2) 运行zkCli.sh，建立和zookeeper服务端的连接 正常连接zkserver后，Client上看到的提 阅读全文

摘要： 一句话说明白：在1台机器上模拟多台机器，对外提供服务 在理解zookeeper集群安装方法的基础上，本文描述如何将1个机器模拟为3个节点的zookeeper集群，建议先参考阅读本文的前一期 zookeeper伪集群安装总结 在本机上通过复制的方式，创建出3个zookeeper安装目录，分别为zook 阅读全文

摘要： zookeeper集群安装 (1) 下载zookeeper安装包，并上传到要组成zookeeper集群的多个机器上 我放置的目录：/usr/local/src/zookeeper-3.4.5.tar.gz, 使用3个节点构成zookeeper集群 (2) 将各个节点上的压缩包进行解压, 得到zook 阅读全文

摘要： 1. 分布式系统及其问题 zookeeper是帮助我们构建分布式系统的一个软件（协调员的角色）首先，我们要明白分布式系统以及它的问题，之后才能理解为什么有zookeeper 1.1 分布式系统 分布式系统，就是多台机器通过网络互连，形成1个系统，对系统外的用户提供服务，用户看到的是1个服务，并不会感 阅读全文

摘要： 进阶实践4: mapper,reducer输出数据压缩 应用场景 当mapper或者reducer的输出数量比较大，会影响shuffle阶段远程拷贝的网络性能，以及对存储容量的要求；这个时候可以考虑对mapper或者reducer的输出结果进行压缩 框架提供的压缩能力 能否指定压缩 能否指定压缩方式 阅读全文

摘要： Git安装 Windows系统 Git 为 Windows 系统提供了简易的 .exe 安装包, 直接下载并安装就可以了（点这里->）: https://git-scm.com/download/win 推荐使用默认安装参数, 一路Next到底. 安装好之后, 可以选择直接打开Git图形窗口，在Gi 阅读全文

摘要： MR进阶实践1： -file 分发多个文件 【-file 适合场景】分发文件在本地，小文件 -file分发原理 run.sh文件： 通过多个-file, 将多个本地文件分发到Hadoop集群中的compute node HADOOP_CMD="/usr/local/src/hadoop-1.2.1/ 阅读全文

摘要： 一： Hadoop Streaming详解 1、Streaming的作用 Hadoop Streaming框架，最大的好处是，让任何语言编写的map, reduce程序能够在hadoop集群上运行；map/reduce程序只要遵循从标准输入stdin读，写出到标准输出stdout即可 其次，容易进行 阅读全文

摘要： 1、如何启动一个命令行的hadoop客户端 任何一个Hadoop集群中的节点，只要有hadoop安装包，就可以通过# hadoop fs来启动 2、Hadoop基本命令格式 # hadoop fs -cmd <args> 3、上传文件到HDFS 集群 hadoop fs -put # hadoop 阅读全文

摘要： Linux下的软件形式 Linux上的软件有几种常见的方式 二进制发布包 软件包已经针对具体平台完成了编译和打包，解压后即可以使用，最多去改改配置文件，也是Linux上最通用和常见的软件包发布形式 例子：JDK软件，tomcat软件 rpm软件包 rpm软件包, 是按照redhat的包管理工具规范R 阅读全文