随笔分类 -  hadoop

深入理解hadoop值MapReduce(2)
摘要：1.MapReduce编程模型概述 MapReduce编程模型给出了分布式的编程方法，总共分为5个步骤。分为这5个步骤的优点：组件化和并行化 (1)迭代。遍历输入数据，并将其解析成key/value键值对 (2)将输入的key/value对映射(map)成另外一些key/value对 (3)依据ke 阅读全文
posted @ 2018-09-15 13:41 stone1234567890 阅读(318) 评论(0) 推荐(0)
hadoop学习笔记(2)
摘要：0.要执行xcall.sh jps脚本命令来查看相关的进程的话，就需要将jps在/usr.local/bin 下面创建香瓜你的链接 ln -s /soft/jdk/bin/jps jps软连接 1.为什么HDFS文件块如此大？ HDFS中的块比磁盘中的块要大，其目的是为了最小化寻址开销，如果块设的足 阅读全文
posted @ 2018-09-14 18:02 stone1234567890 阅读(120) 评论(0) 推荐(0)
深入理解hadoop之MapReduce
摘要：与HDFS一样，Hadoop MapReduce也是采用了Master/Slaves(M/S)架构。主要组件有Client、JobTracker、TaskTracker和Task。下面分别对几个组件介绍 (1).Client：用户编写的MapReduce程序通过Client提交到JobTracker 阅读全文
posted @ 2018-09-14 16:25 stone1234567890 阅读(340) 评论(0) 推荐(0)
hadoop学习笔记(1)
摘要：hadoop 1.独立模式(standalone|local) nothing 使用的是本地文件系统 不需要启动单独的进程 2.pesudo(伪分布式)：等同于完全分布式，只有一个节点 SSH: //（Socket）, //public + private //server:sshd ps -Af 阅读全文
posted @ 2018-09-13 16:14 stone1234567890 阅读(250) 评论(0) 推荐(0)
配置ssh免密码登录设置后还是提示需要输入密码
摘要：工作之余搭建了一个集群测试，配置了ssh免密码登录以后 ，所有的ssh-copy-id 密钥也都分发了 ，各项配置也没有问题，但是使用ssh进行免密登录时，没有报错，但是要输入被ssh主机的登录密码，跟没有配置的效果一样。 分析了一下，问题出现在创建的~/.ssh文件没有执行权限，所以造成配置无效（ 阅读全文
posted @ 2018-09-13 15:24 stone1234567890 阅读(1842) 评论(0) 推荐(0)
Centos 修改当前路径显示为全路径
摘要：1、修改显示全路径： vim /etc/bashrc 找到[ "$PS1" = "\\s-\\v\\\$ " ] && PS1="[\u@\h \W]\\$ " 把里面的大写W改为小写w 2、修改主机名 hostnamectl set-hostname 新主机名 阅读全文
posted @ 2018-09-13 15:06 stone1234567890 阅读(562) 评论(0) 推荐(0)
从零开始搭建大数据平台
摘要：1.首先配置虚拟机， 在node-1上，固定IP，设置好防火墙，然后克隆出节点2和3，修改一下IP和节点hostname。 [root@localhost network-scripts]# vim ifcfg-eth0 DEVICE=eth0 #HWADDR=00:0C:29:57:1E:97（注 阅读全文
posted @ 2018-08-01 10:45 stone1234567890 阅读(1060) 评论(0) 推荐(0)
hadoop面试题(自己整理版)
摘要：1、 hadoop 运行原理2、 mapreduce 原理3、 mapreduce 的优化4、举一个简单的例子说下 mapreduce 是怎么运行的5、 hadoop 中 combiner 的作用6、简述 hadoop 的安装7、请列出 hadoop 的进程名8、简述 hadoop 的调度器9、列出 阅读全文
posted @ 2018-07-16 14:52 stone1234567890 阅读(2924) 评论(4) 推荐(0)
深入理解hadoop之机架感知
摘要：深入理解hadoop之机架感知 机架感知 hadoop的replication为3，机架感知的策略为： 第一个block副本放在和client所在的datanode里（如果client不在集群范围内，则这第一个node是随机选取的）。第二个副本放置在与第一个节点不同的机架中的datanode中（随机 阅读全文
posted @ 2018-07-15 09:15 stone1234567890 阅读(3298) 评论(1) 推荐(0)
深入理解hadoop之排序
摘要：MapReduce的排序是默认按照Key排序的，也就是说输出的时候，key会按照大小或字典顺序来输出，比如一个简单的wordcount，出现的结果也会是左侧的字母按照字典顺序排列。下面我们主要聊聊面试中比较常见的全排序和二次排序 一、全排序 全排序的方法一般有以下几种： 1.使用一个分区。 但是该方 阅读全文
posted @ 2018-07-14 23:50 stone1234567890 阅读(3451) 评论(1) 推荐(1)
深入理解hadoop数据倾斜
摘要：深入理解hadoop之数据倾斜 1、什么是数据倾斜 我们在用map /reduce程序执行时，有时候会发现reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的r 阅读全文
posted @ 2018-07-14 11:56 stone1234567890 阅读(587) 评论(0) 推荐(0)
深入理解hadoop之HDFS
摘要：深入理解hadoop之HDFS 刚刚才写完关于mapreduce的一篇博文，趁热打铁接下来聊聊HDFS。本博文参考资料为HADOOP权威指南第3版完版，博文如有错漏之处，敬请指正。 HDFS即Hadoop Distributed FileSystem,是hadoop旗舰机的文件系统。HDFS以流式数 阅读全文
posted @ 2018-07-14 08:36 stone1234567890 阅读(544) 评论(0) 推荐(0)
深入理解hadoop之mapreduce
摘要：本文系原创，若有转载需要，请注明出处。https://www.cnblogs.com/bigdata-stone/ 1.mapReduce简介 MapReduce是面向大数据并行处理的计算模型、框架和平台。 2.图解计算框架：(画图不易，请勿挑剔) 2.1. inputformat工作机制 在 Ma 阅读全文
posted @ 2018-07-14 07:47 stone1234567890 阅读(2619) 评论(1) 推荐(1)