随笔分类 -  hadoop

MapReduce原理和工作过程
摘要：一、MapReduce 原理 这个链接总结较好 ： https://www.jianshu.com/p/ca165beb305b MapReduce 过程分为Map 和 Reduce 在Map阶段，将输入的数据按照规则映射为单个对象，之后通过Shuffle，作为Reduce的输入数据。 在Reduc 阅读全文
posted @ 2020-03-11 22:54 抽象Java 阅读(1140) 评论(0) 推荐(0)
hadoop安装配置
摘要：core-site.xml : 指定HDFS中Name的地址 <property> <!-- 指定 <name>fs.defaultFS</name> <value>hdfs://hadoop.slave01:9000</value> </property> <property> <name>had 阅读全文
posted @ 2019-09-14 13:14 抽象Java 阅读(207) 评论(0) 推荐(0)
WordCount-JAVA版
摘要：WordCountMapper WordCountMapper WordCountReducer 阅读全文
posted @ 2019-09-04 23:43 抽象Java 阅读(270) 评论(0) 推荐(0)
scp、rsync、xsync
摘要：scp、 拷贝完全相同 rsync、拷贝有差异的文件 xsync、循环复制文件到所有节点相同的目录下 阅读全文
posted @ 2019-09-01 20:50 抽象Java 阅读(688) 评论(0) 推荐(1)
windows上传文件到 linux的hdfs
摘要：一、windows上传文件到 linux的hdfs 1、先在 centos 上开启 hdfs, 用 jps 可以看到下面信息， 说明完成开启 2、在win上配置 hadoop (https://www.cnblogs.com/Jomini/p/11432484.html) 后， 要在 hadoop 阅读全文
posted @ 2019-08-31 09:35 抽象Java 阅读(2940) 评论(0) 推荐(0)
win10 配置 hadoop-2.7.2
摘要：win10 配置 hadoop-2.7.2 1、下载 先在 http://acrchive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 2、解压配置 解压到目录下，在高级系统设置中设置环境变量 配置完成，在cmd输入" 阅读全文
posted @ 2019-08-29 22:44 抽象Java 阅读(1943) 评论(0) 推荐(0)
hadoop 源码编译
摘要：hadoop 源码编译 1、准备jar 1) hadoop-2.7.2-src.tar.gz 2) jdk-8u144-linux-x64.tar.gz 3) apach-ant-1.9.9-bin.tar.gz 4) apache-maven-3.0.5-bin.tar.gz 5) protobu 阅读全文
posted @ 2019-08-25 17:04 抽象Java 阅读(112) 评论(0) 推荐(0)
dateNode 启动不了
摘要：dateNode 启动不了 进去路径中找到 name和data文件夹，current下面分别有 一个 version文件，打开发现两个clusterId都不一样 把name和data文件里面的version下的clusterId都换成一样的，再重启一遍 阅读全文
posted @ 2019-08-25 13:30 抽象Java 阅读(417) 评论(0) 推荐(0)
HDFS
摘要：HDFS 概念 1、概念 1.1、 HDFS - Hadoop File distributed filesystem， HDFS以流式数据访问模式来存储超大文件。 1.2、 HDFS 以块的方式存储数据。 HDFS 集群有两类节点的模式运行，一类是namenode 用来管理节点，一类是工作节点da 阅读全文
posted @ 2019-08-17 17:11 抽象Java 阅读(219) 评论(0) 推荐(0)
hdfs.server.datanode.DataNode: Block pool ID needed, but service not yet registered with NN
摘要：启动hadoop 发现 50070 的 livenode 数量是 0 查看日志， 删除 dfs 的 data, 因为里 current 文件datanode ID 和 nodemanager ID 不同 我的路径是/usr/hadoop/dfs 然后重新格式化 再启动 livenode 数量正常 阅读全文
posted @ 2019-05-26 17:39 抽象Java 阅读(2492) 评论(0) 推荐(0)
hadoop启动 datanode的live node为0
摘要：hadoop启动 datanode的live node为0 浏览器访问主节点50070端口，发现 Data Node 的 Live Node 为 0 查看子节点的日志 看到 可能是无法访问到主节点的9000端口 使用telnet访问一下主节的9000端口 输出访问失败， 回到主节点，开放9000端口 阅读全文
posted @ 2019-04-14 14:29 抽象Java 阅读(2131) 评论(0) 推荐(0)