随笔分类 -  大数据

YARN的Memory和CPU调优配置详解
摘要：Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一 阅读全文
posted @ 2018-05-28 11:07 yangbk 阅读(864) 评论(0) 推荐(0)
ssh多台机器通信
摘要：1.3台机器执行[root@hadoop001 ~]# ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Created director 阅读全文
posted @ 2017-10-11 10:44 yangbk 阅读(805) 评论(0) 推荐(0)
Hadoop学习之HDFS/MapReduce/YARN进程介绍
摘要：一、Hadoop之三大组件 HDFS———->数据存储 MapReduce—>作业计算框架 Yarn———–>资源调度 二、HDFS 1、启动HDFS查看进程 1 2 3 4 5 6 2、由此可见HDFS进程有三个，分别为NameNode(nn)、DateNode(dn)、SecondaryName 阅读全文
posted @ 2017-10-11 10:24 yangbk 阅读(1670) 评论(0) 推荐(0)
hdfs学习总结
摘要：1.启动hdfs进程名称 namenode 名称节点datanode 数据节点secondary namenode 第二名称节点 2.分块存储之前默认64m，现在默认128m （dfs.blocksize 128m）例子： 一个文件 110M 110/128 分为1 块 第一块 110M 130M 阅读全文
posted @ 2017-08-27 23:11 yangbk 阅读(263) 评论(0) 推荐(0)
hadoop伪分布式搭建
摘要：Hadoop伪分布模式（Pseudo-Distributed Mode） 伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。 该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。比如namenode，datan 阅读全文
posted @ 2017-08-23 22:11 yangbk 阅读(228) 评论(0) 推荐(0)
hadoop编译
摘要：Requirements: * Unix System* JDK 1.7+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer 2.5.0* CMake 2.6 or newer (if compilin 阅读全文
posted @ 2017-08-23 21:58 yangbk 阅读(280) 评论(0) 推荐(0)