08 2019 档案
摘要：遇到的问题： 书写问题，一定要写仔细了 hadoop集群的名称，flume服务器上一定要有hadoop环境变量，没有的话，要将hadoop目录下的所有配置文件 拷贝到flume的conf目录下 最后遇到的问题是， Unable to load native-hadoop library for yo
阅读全文
摘要：1.概述 Flume有能力在运行阶段修改/删除Event，这是通过拦截器（Interceptors）来实现的。 拦截器需要实现org.apache.flume.interceptor.Interceptor接口。 拦截器可以修改或删除事件基于开发者在选择器中选择的任何条件。 拦截器采用了责任链模式，
阅读全文
摘要：1. yum install gcc-c++ 2.yum install pcre pcre-devel yum -c /etc/yum.conf --installroot=/usr/local --releasever=/ install nginx 该命令简单解释如下： -c /etc/yum
阅读全文
摘要：关闭集群的命令 stop-all.sh 1.先启动zookeeper集群 在zookeeper安装目录的bin目录下执行，sh zkServer.sh start 出现leader和follower时候说明启动成功 如果是第一次启动Hadoop集群，需要先将hdfs注册到zookeeper集群中，不
阅读全文
摘要：https://www.imooc.com/article/9265
阅读全文
摘要：我之前hadoop的环境都配好了 今天主要配置其他几种 第一步是flume的环境，这个直接解压压缩包，编辑一个conf文件 主要的功能，是监听一个目录，当此目录有数据或者文件发生变化时候，就记录 然后通过sink发送到另外一台虚拟机的hdfs 这样我另外一台虚拟机的hdfs上面就有数据了 第二步是h
阅读全文
摘要：第一步添加项目打包 参考 https://blog.csdn.net/Fight_Rain/article/details/78935503
阅读全文
摘要：参考 https://blog.csdn.net/shenshengsu1990/article/details/94625194 结合下图来讲解 ...... JobTracker接收到任务之后，会去访问NameNode获取要处理的文件信息 NameNode将文件块的一些信息返回给JobTrack
阅读全文
摘要：参考 https://blog.csdn.net/u014313009/article/details/38072269 首先开始的是 shuffle-map阶段的流程 依据上图讲解 1、Partition操作 map的输出结果是多个键值对（key和value），将由reduce合并，而集群中有多个
阅读全文
摘要：参考 https://blog.csdn.net/qq_25948717/article/details/80554809 根据下图讲解 首先说两个概念：调度器和应用程序管理器 Hadoop2.x中使用的调度器是Scheduler，它的职能仅仅是根据各个应用程序的资源需求进行资源分配，如下图 再下来
阅读全文
摘要：此过程没有在服务器搭建的具体步骤，仅有思路 zookeeper集群管控 Hadoop2.0之后，达到了元数据（用于存储NameNode寻找DataNode的信息）的实时备份，所有有两台NameNode（standby、active）。不管你Hadoop集群有多少节点，NameNode只有两个 两个N
阅读全文
摘要：如上图，如果我HDFS中，word目录下有这四个文件，那么它能分为几个切片呢？？？ **** MapTask的数量=切片数量 切块也分为两种 一种是物理切块，一种是逻辑切块 前者是将文件真正的变成文件块 后者是用对象来封装每个文件块的信息，比如文件夹的起始位置、和长度。这样的来分切块的作用，假如我一
阅读全文
摘要：作用就是，合并...... 看下图 combine把map方法产生的多个key和value。合并到一个新的key和value，在传入到reducer中 合并的目的是为了减少网络传输
阅读全文
摘要：参考 https://www.cnblogs.com/edisonchou/p/4297828.html Hadoop中分区，如果不指定的话，他会使用自带的HashPartitioner 如果你业务中有需求，需要使用分区来查看文件的时候，就需要自己定义分区来使用 例如上图，需要统计手机号码的信息，就
阅读全文
摘要：参考 https://www.cnblogs.com/dtj007/p/5485629.html 因为我们大家知道，分别有两种设置 一种设置Mapper 一种是Reducer 如果一样的话，我们只需要记得，只设置Reducer的返回执行结果即可 如果不一样的话，都需要设置的 给张图片..... 如果
阅读全文
摘要：第一步看linux主机中看看配置主机名文件对不对？ 如果对就配置本地电脑的 hosts映射文件.... 再试一下就可以了
阅读全文
摘要：这个忘记 要输好多次密码的 。。 第一步 不用输入密码的 ！！！！！！！！！ 一定要三台机器 都验证一样，分别使用 ssh 主机名 验证 包括自己的主机
阅读全文
摘要：总结 有 "!"的时候，用&&连接 ，没有 "!"的时候 用|| 连接 ............
阅读全文
浙公网安备 33010602011771号